论文指出标准 softmax、log-softmax 与交叉熵实现存在两个数值 bug(Softmax Collapse 与 Softmax Cancellation),并给出简单修正实现,声称可消除“Slingshot”现象、加速 grokking、防止无权重衰减时的精度崩溃,并阻止蒸馏中学生网络偏离教师。
值得关注:该工作针对的是深度学习中最基础、最不易被质疑的算子实现。若两个 bug 在常见框架中普遍存在,则其修正不仅是数值细节问题,还可能改变对 grokking、蒸馏漂移和精度崩溃等现象的解释。与既有卡片中偏应用层的研究不同,…