知识卡片：DualOPSD——自适应特权教师的同策略自蒸馏

一句话结论

DualOPSD 让同策略自蒸馏（OPSD）中的特权教师不再固定：先由学生从特权教师学习，再在同一学生轨迹上让教师向更新后的学生分布移动，从而在 Qwen3-8B 非思考模式下相对 OPSD 提升 AIME 2024、AIME 2025、HMMT 2025 的 avg@12，并在多个规模上减少截断。

事件概述/研究问题

• OPSD 使用学生模型的一个特权副本作为教师，提供密集监督，不需要外部教师。
• 已有 OPSD 在训练过程中让特权教师保持固定，但学生的输出分布和输出风格会随训练变化，导致监督信号与当前学生不匹配。
• 论文提出 DualOPSD，一种非对称交替更新框架，同时调整学生与教师两侧策略，使后续监督能够响应学习者的变化。

方法/产品要点

• 第一步：学生先从特权教师学习。
• 第二步：教师在同一个学生轨迹上向更新后的学生分布移动。
• 该教师更新不需要额外 rollout，因此不增加额外采样开销。
• 整体采用非对称交替更新：学生向教师靠近，教师又向学生的新分布靠近。

主要结果或产业意义

• 在 Qwen3-8B 非思考模式下，DualOPSD 相对 OPSD 的 avg@12 提升：
  • AIME 2024：+23.61 分
  • AIME 2025：+13.89 分
  • HMMT 2025：+10.00 分
• 在 1.7B 和 4B 规模上，准确率增益依赖模型规模；材料未给出具体数值。
• 在 1.7B、4B、8B 三个规模下，DualOPSD 都减少截断（truncation）。
• 4B 规模诊断显示，教师和学生之间的双向 KL 散度更低，说明两者分布更接近。
• 由于仍属于 OPSD 框架，不需要外部教师，因此有潜力降低对外部大模型的依赖；但额外训练开销需以原文为准（待核实）。

为什么重要/与既有脉络的关系

• 既有相关卡片中，DASH 调整 OPSD 的监督视野，RP-OPSD 用推理支点引导迁移，VAD 处理多模态视觉证据归因。
• DualOPSD 的增量信息在于：它不只是在已有监督机制上加门控或引导，而是直接改造“特权教师”本身，让教师随学生分布更新。
• 这一思路是对 OPSD 框架中“教师固定”假设的修正，可能与此前变体互补；但能否与 DASH 或 RP-OPSD 组合使用，材料未说明（待核实）。

局限与不确定性

• 本文材料仅来自 arXiv 摘要，完整训练配置、超参数、消融实验和计算开销未提供（待核实）。
• “truncation”的具体定义、度量方式以及对评测结果的实际影响尚未确认（待核实）。
• 1.7B 和 4B 上“依赖模型规模”的具体收益数值未在摘要中给出（待核实）。
• 是否引入额外训练步骤、显存开销或训练时间变化，尚未确认（待核实）。
• 尚未说明在非数学任务、思考模式或多语言场景上的表现（待核实）。

可用于图书/PPT/简报的角度

• 从“固定教师”到“自适应教师”：OPSD 的迭代逻辑。
• 展示“不额外 rollout”的教师更新设计，如何兼顾监督适应性与采样成本。
• 用 Qwen3-8B 上三个数学推理基准的 avg@12 提升作为案例。
• 与 DASH、RP-OPSD、VAD 并列，展示同策略自蒸馏的不同改进维度。

原始材料

• 英文标题：DualOPSD: Adaptive Privileged Teachers for On-Policy Self-Distillation
• 英文关键词：on-policy self-distillation; privileged teacher; adaptive teacher; alternating optimization; math reasoning
• 来源：arXiv:2608.26019v1（cs.LG, cs.AI）
• URL：https://arxiv.org/abs/2608.26019v1
• 作者（来自抓取信息）：Yutong Chen, Guangfu Guo, Zhichao Xu, Kunpeng Liu
• 提交/更新日期：2026-08-26（待核实是否为最终发表版本）