知识卡片：失配才重要——超越令牌一致的在线策略蒸馏

一句话结论

在线策略蒸馏（On-Policy Distillation, OPD）中，学生与教师之间的“令牌失配”（token mismatch）比“令牌一致”（token agreement）更值得关注；论文提出 TIDE 方法，分别处理“学生多余”和“学生缺失”两类失配令牌，在数学推理基准上优于标准 OPD 及近期基线，尤其在教师-学生失配较强时提升显著。

事件概述或研究问题

论文揭示了一个 OPD 的失败模式：退化的一致（degenerate agreement）。学生可能通过重复性循环（repetitive loops）实现与教师接近完美的令牌级一致，但整体回答在全局上是错误的。因此，作者主张将注意力从“一致”转向“教师-学生失配”，并研究失配令牌如何影响蒸馏更新。

方法/产品要点

论文提出 TIDE（Token-level Independent Deficit-Excess correction），核心思路是对两类失配令牌做不同处理：

Student-excess tokens（学生多余令牌）：学生生成了教师几乎不给概率的令牌。这些令牌的对数比校正项可能无界增长，使更新不稳定。TIDE 使用有界的 Hellinger shaping 来抑制最严重的采样多余项。
Student-deficit tokens（学生缺失令牌）：教师偏好但学生很少采样到的令牌。它们缺失会阻碍教师推理模式的迁移。TIDE 使用解析的教师 top-K 注入，恢复缺失的概率质量，而不需要这些缺失令牌真的被采样到。

主要结果或产业意义

在多个 Qwen3 教师-学生配对、数学推理基准上，TIDE 一致优于标准 OPD，也优于近期 token-selection 和 reward-shaping 基线。
在教师-学生失配较强的场景下，优势更明显：
- Avg@8 从 6.9% 提升至 20.3%；
- 平均回答长度降低 3.6 倍；
- 格式化失败（formatting failures）大幅减少。
代码已公开：https://github.com/yzc-666/TIDE

为什么重要

它提醒后训练社区：在线策略蒸馏不能只追求学生输出与教师输出在令牌层面的“像”，还要诊断和治理“失配”。这一视角可能对长推理模型、格式稳定性、以及教师-学生能力差距较大的场景都有价值。

与既有脉络的关系

本条是对已有在线策略蒸馏相关卡片的延续：在 Direct-OPD 和 On-Policy Delta Distillation 之后，TIDE 进一步聚焦教师-学生失配的令牌级校正，增量信息在于区分“学生多余”与“学生缺失”两类失配，并分别采用有界抑制和 top-K 回填。

局限与不确定性

摘要只报告了数学推理基准和 Qwen3 模型配对；在其他任务或模型家族上的表现待核实。
论文的理论保证、Hellinger shaping 的具体形式、以及 top-K 注入的解析推导细节，在摘要中未展开，待核实。
“格式化失败”的具体定义和测量方式待核实。

可用于图书/PPT/简报的角度

“教与学中的失配”：教师教学生时，学生多出来的动作和学不到的关键动作，都会让学习走样；TIDE 相当于同时“纠多”和“补缺”。
“从模仿到理解”：蒸馏不只是让学生输出和教师一样，而是要让学生的分布真正覆盖教师的有效推理模式。
“后训练的效率信号”：TIDE 在强失配下同时提升准确率、缩短输出、减少格式错误，适合作为大模型后训练优化的案例。

原始材料

英文标题：Mismatch Matters: On-Policy Distillation Beyond Token Agreement
英文关键词：On-policy distillation, teacher-student mismatch, degenerate agreement, token-level correction, TIDE
arXiv ID：2608.09836v1
作者：Zichao Yu, Chengzhi Yu, Shengze Xu, Yujin Han, Bingqing Jiang, Xu Wang, Difan Zou
发布时间：2026-08-10
来源：https://arxiv.org/abs/2608.09836v1
摘要原文：On-policy distillation (OPD) has emerged as a core component of modern LLM post-training pipelines, yet we reveal a failure mode: degenerate agreement, where students exploit repetitive loops to achieve near-perfect token agreement with the teacher despite globally flawed responses. We therefore shift our focus from agreement to teacher-student mismatch, and find that mismatch tokens can be mainly categorized into two types: student-excess tokens and student-deficit tokens. Student-excess tokens are generated by the student but assigned near-zero probability by the teacher; their log-ratio corrections grow unbounded and destabilize the update. Student-deficit tokens, in contrast, are preferred by the teacher but rarely sampled by the student; their absence blocks the transfer of the teacher's reasoning patterns. To tackle these mismatch directions, we propose TIDE (Token-level Independent Deficit-Excess correction), which applies bounded Hellinger shaping to suppress the most severe sampled excesses and an analytic teacher top-K injection to restore deficient probability mass without requiring deficit tokens to be sampled. Across mathematical reasoning benchmarks with multiple Qwen3 teacher-student pairs, TIDE consistently outperforms standard OPD and recent token-selection and reward-shaping baselines. Moreover, the gains of TIDE are more pronounced under strong teacher-student mismatch, where it improves Avg@8 from 6.9% to 20.3%, reduces average response length by a factor of 3.6, and substantially reduces formatting failures. Code is available at https://github.com/yzc-666/TIDE