知识卡片：RISE：通过自我外推策略蒸馏实现递归改进

英文标题：RISE: Recursive Improvement via Self-Extrapolating Policy Distillation
英文关键词：Recursive Improvement; Self-Extrapolating Policy Distillation; On-policy Distillation; RLVR

一句话结论

RISE 提出一种不借助外部教师、不依赖特权条件的自蒸馏路线：利用模型自身 RLVR 训练轨迹中“当前 checkpoint 与滞后锚点（trailing anchor）之间的参数/输出位移”，外推出一个合成教师，将稀疏的结果奖励转化为稠密的逐 token 监督，从而让学生模型在“RLVR 定方向、蒸馏定细节”的循环中递归改进。

研究问题

同策略蒸馏（OPD）能为语言模型后训练提供稠密的逐 token 监督，但效果受限于教师质量：外部教师容易产生分布不匹配；带特权条件的自蒸馏又受限于上下文学习容量。RISE 试图回答：能否完全从模型自身训练历史中构造教师，避免上述瓶颈，同时让蒸馏持续提升学生，而不是只做一次压缩？

方法/产品要点

• 核心机制：从当前 checkpoint 与 trailing anchor（滞后锚点）之间的位移中，在参数空间或 logit 空间外推，构建一个“合成教师”。
• 无需外部模型或特权条件：教师来源于模型自己的 RLVR 训练轨迹。
• 与 RLVR 形成互补循环：可验证结果奖励将外推引导到正确推理方向；外推教师提供稠密、逐 token 的决策细化。
• 教师随学生提升而每轮刷新，使蒸馏成为“递归改进机制”，而不是一次性蒸馏/压缩步骤。

主要结果或产业意义

• 据摘要，RISE 在数学推理、多领域 STEM、代码生成、多轮智能体任务上均优于“仅 RLVR 训练”和“同策略自蒸馏”。
• 摘要未给出基准名称、模型规模与具体提升幅度（待核实）。
• 产业意义在于：可能降低后训练阶段对外部强教师模型的依赖，提供一条模型可自我滚动的稠密监督生产路径。

为什么重要

与已有 OPD/自蒸馏工作相比，RISE 的增量在于“递归性 + 自我外推”：教师不是固定的大模型，也不是来自特权提示，而是随着学生进步不断从自身轨迹中“长出来”。这让结果奖励和稠密 token 监督相互增强，为强化学习后训练的样本效率和推理质量提供了一种新的协同框架。

局限与不确定性

• 摘要只给出整体结论，缺少实验细节：任务集、模型规模、基线、消融、外推系数等（待核实）。
• 参数空间与 logit 空间外推的数值稳定性、超参数敏感性和额外计算开销尚未在材料中交代（待核实）。
• 需要确认 RISE 增益不是来自更长的 RLVR 训练或更大批量的偶然收益（待核实）。

可用于图书/PPT/简报的角度

• 用“让模型从自己的前后差异中学习”来比喻 RISE：每一步更新后，模型不只是接收奖励，还“凝视”自己在参数上的移动轨迹，并推演下一步该往哪里走。
• 在介绍后训练前沿时，可作为“结果奖励 + 稠密逐 token 监督”如何闭环的案例。

与既有脉络的关系

• 与“测试时自进化 GUI 视觉定位”不同：RISE 作用于后训练阶段，不涉及部署后的测试时探索，更侧重通用推理/代码/智能体策略。
• 与 DemoPSD 不同：RISE 不是通过学生/教师分歧调制或掩蔽特权信息来防止信息泄露，而是直接把历史 checkpoints 的位移外推为教师。
• 与“直接策略蒸馏实现从弱到强泛化”不同：Direct-OPD 把弱模型 RL 引发的策略偏移转交给强学生；RISE 则是同一模型对自己的轨迹外推，强调自举递归改进而非跨模型迁移。

原始材料

• 英文标题：RISE: Recursive Improvement via Self-Extrapolating Policy Distillation
• arXiv ID：2609.05295v1
• 作者：Yang Li, Semih Yavuz, Shafiq Joty
• arXiv 显示提交/更新时间：2026-09-04
• URL：https://arxiv.org/abs/2609.05295v1