知识卡片：能干教师，短视评分器——面向智能体同策略蒸馏的无奖励教师修复

一句话结论

论文指出智能体同策略蒸馏（OPD）中的失败不能完全用“复合误差”解释，并提出 R2S 方法：在蒸馏前用教师接管轨迹修复“评分器”，弥合教师实际行为与其逐 token 打分之间的差距，在 12 个“教师-学生-环境”组合上平均比最优对比方法高 12.8 个成功点。

事件概述或研究问题

• 研究对象是 agentic on-policy distillation（OPD）：学生在自身轨迹上训练，教师对每个 token 打分。
• 现有解释把问题归于复合误差，常用对策是把训练限制在教师可靠的区域内（如回合长度课程、教师引导回合、前缀回放、分歧处教师干预）。
• 论文指出该解释不完整：从学生偏离教师最大的状态出发，教师自己接管仍能完成任务，但学生在教师 token 分数上训练后仍会耗尽回合数。
• 作者归因于“逐 token 打分的短视”：教师评分时看不到回合在哪里结束，因此会放行那些“安全但拖延”的动作——这类动作在基于结果强化学习中会因未完成任务而被判零奖励，而 agentic OPD 缺少这一惩罚。
• 作者把教师“实际做的”与“它打分的”之间的差异称为 rollout-scorer gap。

方法/产品要点

• 提出 Rollout-to-Scorer Distillation（R2S），在蒸馏前先修复评分器。
• 步骤包括：从未训练的学生中挖掘高分歧状态；从这些状态运行教师接管；保留足够多次接管通过无奖励检查（如共识或 LLM 评判）的状态；微调教师，使其在从分歧回合起的每个 assistant token 上给出“接管知情”的分数，且上下文中不含接管内容。
• 修复后的教师被冻结，作为标准 OPD 的唯一评分器。
• 修复与训练全程不需要任务奖励。

主要结果或产业意义

• 实验覆盖 3 个环境、2 个教师、4 个学生。
• R2S 在全部 12 个“教师-学生-环境”组合中均优于 3 个现有 agentic-OPD 方法。
• 在每一组合中，相对其中最优对比方法平均提升 12.8 个成功点。
• 具体环境名称、学生与教师模型身份、对比方法名称：待核实（摘要未列明）。

为什么重要

• 对既有脉络的增量：既往相关卡片分别讨论了 OPD 的规划机制（单/多教师在线策略蒸馏）与用验证器组校准引入整体反馈（GC-OPD）；本卡片补充的是“评分器本身的短视”这一诊断，并给出在蒸馏前修复评分器、且不依赖任务奖励的路径，与依赖验证器/奖励信号的路线形成对照。
• 为 agentic OPD 的失败提供新解释维度：问题不只是学生走出教师可靠区域，还包括教师逐 token 打分无法表达“拖延即失败”的终局后果。
• 提出可复用的无奖励修复流程（分歧状态挖掘＋接管验证＋评分器微调），对缺少任务奖励的智能体训练场景有实践意义。

局限与不确定性

• 摘要未给出各环境的具体名称、任务类型与规模：待核实。
• 教师接管所用检查（共识或 LLM 评判）的具体实现、阈值与可靠性：待核实。
• 12.8 个成功点为各组合内相对最优对比方法的平均提升，绝对分数与方差：待核实。
• 方法对教师能力上限的依赖程度、修复成本（接管次数、微调开销）：待核实。
• 论文发表信息为 arXiv 预印本（v1，2026-10-20），未经同行评审确认。

可用于图书/PPT/简报的角度

• “能干的教师，短视的评分器”：用 rollout-scorer gap 解释为什么教师示范正确、学生却学不会收尾。
• 逐 token 打分 vs 结果奖励：短视评分如何放行“安全但拖延”的动作。
• 无奖励教师修复流程：分歧状态挖掘→教师接管→无奖励检查→评分器微调→冻结用于标准 OPD。
• 与复合误差解释的对照：把训练限制在教师可靠区域内为何不够。

原始材料

• 标题：Capable Teacher, Myopic Scorer: Reward-Free Teacher Repair for Agentic On-Policy Distillation
• 作者：Shu Zhao, Tan Yu
• arXiv ID：2610.28586v1（cs.CL；交叉 cs.AI）
• 发布/更新：2026-10-20
• 摘要页：https://arxiv.org/abs/2610.28586v1
• PDF：https://arxiv.org/pdf/2610.28586v1
• 项目页：https://tree-shu-zhao.github.io/r2s/
• 英文关键词：agentic on-policy distillation；rollout-scorer gap；reward-free teacher repair；myopic next-token scoring；teacher takeover