知识卡片：通过批评引导的在线策略蒸馏恢复可靠监督

一句话结论

该研究指出在线策略蒸馏（OPD）隐含假设“教师模型具备可恢复性”（即能从学生写出的任意前缀恢复出正确答案）在错误轨迹上并不成立，并提出 CriticOPD，利用教师的错误识别能力生成批评，引导学生重写解答，从而恢复有效监督。

事件概述或研究问题

• 研究问题：在线策略蒸馏（On-policy distillation, OPD）在学生的自身 rollout 上使用教师的 token 级监督进行训练，其前提是教师从学生写出的任意前缀都能到达正确答案。
• 作者将这一性质称为教师的“可恢复性（recoverability）”，并指出该性质在错误 rollout 上会失效：教师虽然能识别出错误，却会跟随学生的错误继续生成，而非纠正。
• 因此核心问题是如何在 OPD 框架中恢复可靠的监督信号。

方法/产品要点

• 提出 CriticOPD，利用教师的错误识别能力来恢复可恢复性。
• 具体流程：教师对一条错误 rollout 给出批评（critique），学生据此在错误之后重写解答。
• 所得输出连同批评作为特权信息（privileged information）由教师打分；而学生训练时使用的是不含批评的修订版本。
• 即：批评仅在教师评分阶段作为额外信息使用，不进入学生的训练输入。

主要结果或产业意义

• 在两个 Qwen3 学生模型与六个数学推理基准上进行评测。
• CriticOPD 相较 OPD 取得提升，且在竞赛类问题上增益最大。
• 待核实：具体基准名称、提升幅度数值、Qwen3 学生模型的具体规模等细节未在摘要中给出。

为什么重要

• 揭示了 OPD 的一个被忽视的假设失效点：教师的“识别错误”能力与其“从错误前缀恢复正确答案”的能力并不一致。
• 提供了一种把教师的错误识别转化为可训练监督信号的机制（批评作为特权信息、修订版用于学生训练），思路可迁移到其他需要教师监督的蒸馏场景。
• 与既有脉络的关系：已有卡片涉及测试时反思引导的同策略自蒸馏（GUI 视觉定位）与 Direct-OPD（从弱到强的策略偏移迁移）、多教师在线策略蒸馏。本条的增量在于聚焦 OPD 的“可恢复性”失效并提出批评引导的修正机制，且评测落在数学推理而非 GUI 或长程规划任务上。

局限与不确定性

• 摘要未说明 CriticOPD 在何种条件下仍可能失效，或批评质量对结果的影响。
• 未说明计算开销（批评和修订所需的额外推理成本）。
• 未报告与基线之外其他方法的对比细节。
• 未说明是否在数学推理之外的领域验证。
• 以上均待核实。

可用于图书/PPT/简报的角度

• “教师也会跟着学生犯错”：在线策略蒸馏中的可恢复性假设及其失效。
• 把“批评”当作特权信息：一种恢复可靠监督信号的蒸馏设计模式。
• 自我修订 + 教师评分：错误识别如何转化为训练信号。
• 竞赛题增益最大：监督修复在高难度推理任务上的价值。

原始材料

• 标题：Recovering Reliable Supervision via Critique-Guided On-Policy Distillation
• 作者：Kaixiang Zhao, Tianrun Yu, Shangzhe Li, Yuxiao Yang, Amanda Hughes, Weitong Zhang, Taylor W. Killian
• 发布：2026-10-14T17:54:34Z（arXiv v1）
• 分类：cs.LG（主）, cs.AI
• arXiv ID：2610.20572v1
• Abstract URL：https://arxiv.org/abs/2610.20572v1
• PDF URL：https://arxiv.org/pdf/2610.20572v1
• 关键词：On-policy distillation, recoverability, critique, privileged information, mathematical reasoning, Qwen3