知识卡片：超越教师似然：面向长上下文推理的组校准同策略蒸馏

英文标题：Beyond Teacher Likelihood: Group-Calibrated On-Policy Distillation for Long-Context Reasoning
英文关键词：On-Policy Distillation; Long-Context Reasoning; Group Calibration; Verifier Reward; Token-Level Distillation

一句话结论

GC-OPD 在 rollout 组内分别归一化验证器奖励和轨迹级 OPD 分数，用二者之差作为带符号的“教师-验证器分歧残差”，再按相对优势分配到 token，从而在不丢弃逐 token 稠密教师指导的情况下引入验证器的整体任务反馈；在 5 个长上下文基准上，Qwen3-4B 的五基准均值从 29.08 提升到 40.47，Qwen3-8B 从 35.12 提升到 44.65，均超过 vanilla OPD。

事件概述或研究问题

同策略蒸馏（OPD）让学生在自己的采样上训练，并由更强教师逐 token 提供稠密指导。
在长上下文任务中，逐 token 教师支持可能偏爱“局部合理”的回答，忽略分布在不同位置的证据，或违反全局任务约束。
任务级验证器从整体回答判断任务完成度，能给出反映部分成功的分级奖励。
作者在两类代表性长上下文证据聚合任务上诊断这一错位：随着输入范围变长，轨迹级 OPD 分数与验证器奖励的一致性逐渐下降，即出现“教师-验证器分歧”。

方法/产品要点

组校准：在每个 rollout 组内，分别对验证器奖励和轨迹级 OPD 分数做归一化。
带符号分歧残差：用归一化后的二者之差表示教师与验证器共识或分歧的大小与方向。
RACA（Relative-Advantage-Based Credit Assignment）：按 token 的相对 OPD 优势，将轨迹级残差分配到各 token，同时保留原有 OPD 信号。
消融结果显示：带符号残差优于额外加入 OPD 衍生项，也优于直接加入组归一化验证器奖励；RACA 优于均匀 token 分配。

主要结果或产业意义

五个长上下文基准的平均结果：
- Qwen3-4B：官方 checkpoint 均值 29.08 → GC-OPD 后 40.47；vanilla OPD 为 39.31。
- Qwen3-8B：官方 checkpoint 均值 35.12 → GC-OPD 后 44.65；vanilla OPD 为 43.56。
根据摘要数字计算，GC-OPD 相比 vanilla OPD 在五基准均值上分别提高约 +1.16 和 +1.09 分。
代码已开源：https://github.com/SolereZhang/GC-OPD
产业意义：为长上下文大模型后训练提供了一种“外部验证器 + 稠密教师蒸馏”结合的可行思路；具体部署收益需结合实际任务评估。

为什么重要

它直接回应了“教师似然”与“任务验证”在长上下文场景中的错位问题，说明仅追求教师逐 token 似然可能不够。
核心价值是：不丢弃稠密的逐 token 教师指导，而是用验证器奖励做组内相对残差校准。
与既有脉络的关系：已有相关卡片 DASH、RP-OPSD 主要面向同策略自蒸馏中的散度门控或推理支点；本条 GC-OPD 的增量在于引入“外部验证器奖励”并以组内相对残差方式介入在线蒸馏，专门针对长上下文证据聚合类任务，而不是替换教师信号或只做自蒸馏。

局限与不确定性

本卡片仅基于 arXiv 摘要；摘要未列出 5 个长上下文基准的具体名称，待核实。
诊断实验基于两个代表性长上下文证据聚合任务，结论是否适用于其他长上下文任务，待核实。
摘要未给出验证器训练方式、训练数据、计算开销、超参数等实现细节，待核实。
各基准上的逐项分数及更多基线比较，待核实。

可用于图书/PPT/简报的角度

用“教师看局部、验证器看整体”的比喻，解释长上下文蒸馏中的反馈错位。
用“组内归一化 + 带符号残差”说明如何在不抛弃稠密信号的情况下引入验证器反馈。
用 Qwen3-4B/8B 五基准平均分的提升作为长上下文后训练案例。
适合放进大模型后训练、在线蒸馏、长上下文推理、验证器反馈与对齐等主题。

原始材料

英文标题：Beyond Teacher Likelihood: Group-Calibrated On-Policy Distillation for Long-Context Reasoning
arXiv ID：2608.19181v1
作者：Zhu Zhang, Jixun Wang, Xiaoang Xu, Xiaorong Wang, Zihan Zhou, Zhiyuan Wang, Shuo Wang, Chaojun Xiao, Yuezhi Zhou
提交/更新日期：2026-08-19
分类：cs.LG（cs.AI, cs.CL）
原文链接：https://arxiv.org/abs/2608.19181v1
PDF：https://arxiv.org/pdf/2608.19181v1