RISE 提出一种不借助外部教师、不依赖特权条件的自蒸馏路线:利用模型自身 RLVR 训练轨迹中“当前 checkpoint 与滞后锚点(trailing anchor)之间的参数/输出位移”,外推出一个合成教师,将稀疏的结果奖励转化为稠密的逐 token 监督,从而让学生模型在“RLVR 定方向、蒸馏定细节”的循环中递归改进。
值得关注:与已有 OPD/自蒸馏工作相比,RISE 的增量在于“递归性 + 自我外推”:教师不是固定的大模型,也不是来自特权提示,而是随着学生进步不断从自身轨迹中“长出来”。这让结果奖励和稠密 token 监督相互增强,为强化学…