机器学习

Softmax 是 Transformer 里很重要的一环。它本身的计算量不大，但由于数学上的数据依赖，按原始方法计算需要把数据完整读三遍，会耗费大量时间。 Nvidia 的 paper “Online normalizer calculation for softmax” 提出了 online softmax：以多做一点计算的代价换来少读一遍数据，把三遍降到两遍。

这次用 DFlash2 + Qwen3-27B + OpenCode 跑完 MNIST 任务后，我觉得这套本地 coding agent 对类似任务已经实用了。它完成了环境准备、脚本编写、模型训练和结果汇报，整个过程在半小时内结束。这样的等待时间，对我来说已经可以接受。