知识卡片：ReflectRL：从黄金负轨迹中学习反思到直接推理

一句话结论

ReflectRL 提出将专家模型在困难问题上的失败轨迹视为“黄金负轨迹”（Golden Negative Trajectories），先引导模型对这类轨迹进行反思式推理，再通过“反思到直接策略迁移”把推理能力转回直接推理，在 9 个基准、4 个大语言模型基座和 4 种 on-policy 训练方法上始终提升了推理性能，且额外开销很小。

事件概述或研究问题

On-policy 训练已成为提升大语言模型推理能力的常用后训练范式，并常借助更强专家模型产生的“黄金轨迹”作为监督信号。然而，当专家在更难的问题上失败时，现有轨迹引导方法会失去主要监督来源，这些失败轨迹通常被当作负样本直接丢弃。作者提出，这些失败轨迹并非无用，而是可以作为“有缺陷的轨迹”被反思，从而提供有价值的推理信号。

方法/产品要点

核心概念：Golden Negative Trajectories：指专家模型在困难问题上失败时产生的轨迹。已有方法通常丢弃它们，ReflectRL 则将其转化为反思对象。
Reflection Advantage（反思优势）：作者发现，对于困难问题，反思一条有缺陷的轨迹，可能比从零开始直接解题更容易、更有效。
ReflectRL 框架：轻量级、即插即用，包含两个阶段：
1. 使用黄金负轨迹引出“反思式推理”（Reflective Reasoning）；
2. 通过“反思到直接策略迁移”（Reflective-to-Direct Policy Transition），将习得的推理行为迁移回“直接推理”（Direct Reasoning）。
摘要未提供更多实现细节，如轨迹筛选方式、迁移损失函数或训练稳定性设计，均待核实。

主要结果

实验覆盖 9 个基准、4 个大语言模型基座、4 种 on-policy 训练方法。
结果表明，ReflectRL 能一致提升推理性能，且带来“最小开销”（minimal overhead）。
具体性能数字、基座模型名称和训练方法列表未在摘要中列出，待核实。

为什么重要

现有 on-policy 训练研究通常聚焦于如何更好地利用专家模型的成功轨迹，或是弱模型与强模型之间的策略转移。ReflectRL 的增量信息在于：失败轨迹也可以成为有效的学习信号。它不是把失败轨迹当作“不要模仿的负例”，而是主动让模型对失败过程进行反思，并把反思能力迁移到直接推理中。这一思路为轨迹引导的 on-policy 训练提供了新的低成本拓展方向。

与已有相关卡片中“通过直接策略蒸馏实现从弱到强泛化（Direct-OPD）”相比，ReflectRL 不依赖弱模型的策略偏移来引导强模型，而是利用专家模型的失败轨迹进行反思式学习；它也更像一种通用插件，可与多种 on-policy 训练方法结合。

局限与不确定性

文中尚未说明“黄金负轨迹”的自动判定标准，具体如何定义“专家失败”待核实。
“反思到直接策略迁移”的技术细节未见摘要，待核实。
该方法是否在所有推理任务或更大规模模型上稳定有效，摘要未提供证据，待核实。
与简单丢弃负轨迹、直接使用负轨迹做偏好优化等基线相比，具体优势幅度和消融结果待核实。

可用于图书/PPT/简报的角度

“失败也是一种训练资源”：介绍 AI 模型如何从错误轨迹中学习。
“先反思，再直接推理”：两阶段式推理能力提升思路。
“即插即用”的模型后训练插件：如何低成本增强现有 on-policy 训练。
面向研究人员的选题：探索失败轨迹在推理训练中的潜在价值。

原始材料

英文标题：ReflectRL: Learning from Golden Negative Trajectories via Reflective-to-Direct Reasoning
英文关键词：ReflectRL; Golden Negative Trajectories; Reflective-to-Direct Reasoning; On-policy Training; Large Language Models
arXiv ID：2608.03972v1
URL：https://arxiv.org/abs/2608.03972v1
PDF：https://arxiv.org/pdf/2608.03972v1
作者：Jinhe Bi, Chennan Zhou, Zengjie Jin, Aniri, Shuo Lu, Wenke Huang, Hu Cao, Xun Xiao, Zhihong Zhu, Volker Tresp, Fei Shen, Yunpu Ma, Tat-Seng Chua
提交/更新时间：2026-08-04（来自来源页面，具体时区待核实）
主要类别：cs.AI