https://jimwang99.github.io/zh-cn/posts/machine-learning/Recent content in 机器学习 on When Moore's Law EndsHugozh-CNFri, 09 Oct 2026 00:00:00 +0000https://jimwang99.github.io/zh-cn/posts/machine-learning/understanding-flashattention/Fri, 09 Oct 2026 00:00:00 +0000https://jimwang99.github.io/zh-cn/posts/machine-learning/understanding-flashattention/<p>Softmax 是 Transformer 里很重要的一环。它本身的计算量不大，但由于数学上的数据依赖，按原始方法计算需要把数据完整读三遍，会耗费大量时间。</p> <p>Nvidia 的 paper “<a href="https://arxiv.org/abs/1805.02867">Online normalizer calculation for softmax</a>” 提出了 online softmax：以多做一点计算的代价换来少读一遍数据，把三遍降到两遍。</p>https://jimwang99.github.io/zh-cn/posts/machine-learning/dflash2-qwen3-27b-opencode-when-a-local-coding-agent-became-usable-for-my-workflow/Wed, 07 Oct 2026 00:00:00 +0000https://jimwang99.github.io/zh-cn/posts/machine-learning/dflash2-qwen3-27b-opencode-when-a-local-coding-agent-became-usable-for-my-workflow/<p>这次用 DFlash2 + Qwen3-27B + OpenCode 跑完 MNIST 任务后，我觉得这套本地 coding agent 对类似任务已经实用了。它完成了环境准备、脚本编写、模型训练和结果汇报，整个过程在半小时内结束。这样的等待时间，对我来说已经可以接受。</p>