知识卡片：通过教师相对偏移进行多教师在线策略蒸馏（(\Delta)-MOPD）

一句话结论

(\Delta)-MOPD 提出将多教师在线策略蒸馏（MOPD）的监督目标从“教师端点策略”改为“教师相对基座的 logit 偏移”（teacher-minus-base shift），并重新锚定在学生的冻结初始化上；摘要称该目标在教师信号于同一状态被组合时尤为有效，且在分阶段路由下缩小了教师顺序带来的性能差距。待核实：论文全文、实验设置与复现细节。

事件概述或研究问题

• 研究对象：多教师在线策略蒸馏（multi-teacher on-policy distillation, MOPD）。
• 问题：常见做法是迁移每个教师的“端点策略”（endpoint policy），但端点策略混合了后训练带来的变化与教师从自身基座继承的偏好，可能干扰蒸馏。
• 论文主张：需要区分“后训练改变的部分”与“从基座继承的部分”，并据此重新设计蒸馏目标。
• 待核实：论文的具体任务定义、数据集、模型规模、训练超参与统计显著性。

方法/产品要点

• 提出 (\Delta)-MOPD：迁移每个教师的 teacher-minus-base logit shift。
• 关键设计：将该 shift 重新锚定（re-anchor）在学生的 frozen initialization 上。
• 两种 MOPD 设定均被比较：
  • common-domain composition：多个教师对同一提示域的同一学生 rollout 打分，信号汇成单一目标。
  • routed-domain distillation：不同域的提示分配给对应专家教师。
• 控制变量：在比较中保持 teacher selection 固定，仅改变 target construction。
• 待核实：(\Delta) 的具体计算方式、logit shift 的归一化/裁剪策略、学生初始化冻结的具体含义与实现位置。

主要结果或产业意义

• 摘要指出首先暴露了阻碍 endpoint transfer 的机制：inherited base pull 可能超过 post-training shift。
• 去除该影响后，摘要称 teacher-term norm ratio 与 target–student KL 降低。
• 在三个教师组合时：(\Delta)-MOPD 比 endpoint composition 高 4.11 Math 分与 1.95 个 five-benchmark 分。
• 在两个教师时：(\Delta)-MOPD 与 endpoint 准确率相当。
• 在 phased routing 下：(\Delta)-MOPD 在两种阶段顺序下平均性能更高，并将观察到的 order gap 从 10.50 降到 6.42 分。
• 在 interleaved routing（每次更新只涉及一个教师）下：两种目标表现相当。
• 结论性表述：target construction 是 MOPD 的独立设计轴，与 teacher selection 互补。
• 待核实：上述数值的评测基准全称、置信区间、消融完整性与是否跨模型规模成立。

为什么重要

• 与既有脉络的关系：已有卡片分别讨论 MOPD 的能力失衡修复、梯度/损失平均与数值精度影响、以及长程规划中的单/多教师在线策略蒸馏；本卡片补充的是“监督目标如何构造”这一独立设计轴，而非教师选择或优化器/数值效应。
• 若摘要结论成立，意味着多教师蒸馏的收益不只来自“选哪些教师”，也来自“迁移教师的哪一部分信号”。
• 对工程实践的含义：在教师信号于同一状态被聚合时，改用 shift target 可能比直接拟合端点策略更稳；在分阶段路由时可能缓解顺序敏感。
• 待核实：是否适用于不同基座、不同后训练范式与更大规模模型。

局限与不确定性

• 来源材料仅提供摘要与元数据，未能抓取正文；以下均待核实：
  • 论文的实验规模、基线公平性与算力预算。
  • “inherited base pull 超过 post-training shift”的度量方式与普适性。
  • teacher-term norm ratio、target–student KL 与最终任务指标之间的因果链。
  • phased/interleaved routing 的形式化定义与顺序差距的统计稳健性。
  • 是否与已有 MOPD 修复方法（如能力失衡、损失平均规则、数值精度）叠加验证。
• 摘要中“results suggest”属谨慎表述，不宜当作已确立的普遍规律。

可用于图书/PPT/简报的角度

• 把“教师选择”和“目标构造”画成两个正交坐标轴，说明 MOPD 的设计空间。
• 用“端点策略 = 后训练变化 + 基座继承偏好”的分解图，解释为什么要迁移 shift 而非 endpoint。
• 用“同状态组合 vs 分阶段路由 vs 交错路由”三种设定，对比 shift target 的收益边界。
• 以“顺序差距从 10.50 降到 6.42”作为顺序敏感性的案例讨论。
• 提醒读者：本条仅为摘要级信息，适合作为研究线索，不适合作为复现依据。

原始材料

• URL: https://arxiv.org/abs/2610.10460v1
• Track: academic
• Topics: foundation-model
• Manual title: Composing What Each Teacher Learned: Multi-Teacher On-Policy Distillation through Teacher-Relative Shifts
• Candidate summary: Multi-teacher on-policy distillation (MOPD) is used in two settings. In common-domain composition, several teachers score each student rollout from one prompt domain and their signals form a single target; in routed-domain distillation, prompts from different domains are assigned to the corresponding specialist. Both settings usually transfer each teacher's endpoint policy, which mixes what post-training changed with preferences inherited from the teacher's base. We introduce (\Delta)-MOPD, which transfers each teacher's teacher-minus-base logit shift re-anchored at the student's frozen initialization, and compare it with endpoint supervision in both settings while holding teacher selection fixed. We first expose the mechanism that impedes endpoint transfer: inherited base pull can exceed the post-training shift. Removing it reduces the teacher-term norm ratio and target--student KL. Across our experiments, the results suggest that shift targets are particularly useful when teacher signals are combined at a state. With three composed teachers, (\Delta)-MOPD exceeds endpoint composition by (4.11) Math and (1.95) five-benchmark points; with two, it matches endpoint accuracy. Under phased routing, it achieves higher mean performance in both phase orders and reduces the observed order gap from (10.50) to (6.42) points. Under interleaved routing, where each update involves one teacher, the two targets perform comparably. The phased results provide supporting evidence that the benefit may extend to signals accumulated across training phases. Target construction is thus an independent design axis in MOPD, complementary to teacher selection.
• Parent digest: （空）
• Parent URL: （空）
• 备注：未能抓取正文，本卡片仅基于已知元数据与摘要生成。