知识卡片：RetireOPD：面向智能体强化学习的自退休同策略蒸馏

一句话结论：RetireOPD 把“技能条件教师”先用环境奖励单独训练，再让无技能学生在 RL 与同策略蒸馏/自蒸馏（On-Policy Distillation, OPD）联合训练中按自适应条件主动“退休”教师，以缓解多轮智能体 RL 中结果奖励稀疏、教师监督不可靠且收益随阶段变化的问题；在 Qwen2.5 1.5B–7B 上，ALFWorld 成功率较 RL 基线提升 14.1%–18.8%，WebShop 准确率提升 11.8%–19.0%，并在所有设置中超过其技能条件教师。

事件概述或研究问题

• 多轮智能体用 RL 训练时，每条轨迹只收到单个标量奖励，这促使 OPD 提供来自带有特权任务技能的自教师（self-teacher）的稠密 token 级监督，让无技能学生内化这些技能。
• 但作者指出两个在 agentic tasks 中的发现：仅靠特权信息不总能让教师可靠；教师监督的收益依赖训练阶段。
• 因此，需要一种不依赖预定义蒸馏日程、能判断教师何时有用的方案。

方法/产品要点

• 先优化一个解耦的、技能条件教师，使用环境奖励。
• 再联合使用 RL 与 OPD 训练无技能学生。
• 采用 Adaptive Retirement（自适应退休）：不是按预定义蒸馏日程，而是当师生差异不再缩小，且学生达到教师成功率的目标比例后，学生自行放弃教师，之后仅用 RL 继续训练。
• 实验覆盖 Qwen2.5 1.5B 到 7B 模型。

主要结果或产业意义

• ALFWorld 成功率相对 RL 基线提升 14.1%–18.8%。
• WebShop 准确率提升 11.8%–19.0%。
• 在每一设置中超过其自身的技能条件教师。
• 产业意义：对多轮交互式智能体训练有参考意义；具体样本效率、成本与部署收益待核实。

为什么重要

• 它把 OPD 的讨论从“如何提供监督”推进到“教师何时不再值得信任、何时应退出”，并针对 agentic RL 的多轮任务设置验证。
• 自适应退休可能减少阶段不匹配或不可靠教师带来的负面影响；来源材料未给出机制层面的因果消融，待核实。
• 与既有脉络的关系：DASH 关注逐 token 监督视野的自适应；RP-OPSD 用推理支点引导多语言推理迁移；DualOPSD 让特权教师向更新后的学生分布移动。RetireOPD 的增量在于面向智能体 RL，把教师先解耦训练、再以师生差异和成功率阈值触发“自退休”，之后退回纯 RL；与上述卡片的事实不重复。

局限与不确定性

• 来源材料仅提供标题、作者、分类、摘要与链接；论文正文、实验设置、基线细节、消融、计算开销、统计显著性和超参数均未提供，待核实。
• “师生差异不再缩小”“教师成功率的目标比例”的具体定义与阈值未给出，待核实。
• 自适应退休在其它模型规模、任务、环境或真实部署中的泛化性未知，待核实。
• 英文关键词在来源材料中未单列，待核实；可提取术语见下。

可用于图书/PPT/简报的角度

• 稀疏结果奖励 vs 稠密 token 监督：多轮智能体 RL 的信用分配问题。
• 教师可靠性反例：有特权信息不等于可靠教师。
• 课程/阶段性问题：教师监督的收益会随训练阶段变化。
• “自退休”作为 teacher-student 训练设计模式：何时引入教师、何时退出。
• 数据点：Qwen2.5 1.5B–7B；ALFWorld +14.1%–18.8%；WebShop +11.8%–19.0%；超过自身教师。
• 与 DASH、RP-OPSD、DualOPSD 的对比轴线：监督视野、推理支点、教师移动、教师退休。

原始材料

• 英文标题：RetireOPD: Self-Retiring On-Policy Distillation for Agentic Reinforcement Learning
• arXiv ID：2609.20784v1
• 作者：Yan Yu, Zhengxi Lu, Yizhou Liu, Yichen Pan, Aozhe Wang, Qipeng Chen, Hua Yang, Wenqi Zhang, Weiming Lu, Qianglong Chen, Yongliang Shen
• Published：2026-09-17T17:52:08Z
• Updated：2026-09-17T17:52:08Z
• Primary category：cs.CL
• Categories：cs.CL, cs.AI
• Abstract URL：https://arxiv.org/abs/2609.20784v1
• PDF URL：https://arxiv.org/pdf/2609.20784v1
• 英文关键词：来源未单列，待核实；据标题/摘要可提取：On-Policy Distillation; Agentic Reinforcement Learning; Self-Retiring; Adaptive Retirement; Privileged Teacher; Multi-turn Agents