DASH 提出在标准同策略自蒸馏(OPSD)的逐 token 监督中引入“散度自适应传播门”,根据局部散度相对序列均值的偏差动态调整反向多步聚合,从而在不增加任何 teacher/student 前向计算的情况下,在 3 个数学推理基准、3 个模型规模上一致优于 vanilla OPSD。
值得关注:OPSD 类方法此前主要关注如何提供稠密监督(如借助特权教师、构造伪解、定位推理支点),而 DASH 首次明确指出现有 OPSD 忽略了“散度的时间演化”这一维度,并给出了一个计算开销极小的解决方案。它提示:在序列级强…