知识卡片：强化学习后训练构建组合推理策略

英文标题： RL Post-Training Builds Compositional Reasoning Strategies
英文关键词： RL post-training, compositional reasoning, trace analysis, sequential composition, parallel composition, rejection fine-tuning, pretraining ablation

一句话结论

强化学习后训练不仅能放大基座模型中已有的原始技能，还能将这些原始技能组合成新的、可复用的高层级策略，而拒绝微调由于探索选择性不足，效果随训练趋于停滞。

事件概述或研究问题

研究核心问题是：RL后训练仅仅是放大基座模型中已隐含的原始技能，还是能够将原始技能组合成新的高层级策略？ 为回答此问题，作者设计了一个完全可观测的重写语法环境，其中的预训练分布已知，且每一步重写都可审计。Transformer模型先在原始符号重写链上进行预训练，再基于只有二元最终答案奖励的追踪推理任务进行后训练。

方法/产品要点

环境设定： 完全可观测的重写语法环境（rewrite-grammar environment），预训练分布已知，每步重写可审计。
模型训练： Transformer在原始符号重写链上预训练；后训练采用两种方法对比：强化学习（RL）与拒绝微调（Rejection Fine-Tuning, RFT），均只以二元最终答案（正确/错误）作为奖励信号。
分析工具： 追踪分析（Trace analysis），可观察模型内部的重写步骤序列。

主要结果或产业意义

RL解决了基座模型即使在极大采样预算下仍很难解决的保留问题，而RFT前期提升快但很快进入平台期。
RL重组原始能力的机制： 分阶段组合——先强化原始约简操作，再发现有效的组合过程。
- 顺序组合： 将有序的原始收缩链折叠为一步操作。
- 并行组合： 将独立的原始收缩合并为单步操作。
- 这些组合过程并非孤立样本，而是被复用并固化为稳定的策略库。
RL与RFT的关键差异不在探索量，而在选择性： RFT产生大量类似捷径的重写（许多无效），RL则将探索集中在有效的可复用结构上。
预训练消融实验表明： 组合策略的出现不仅取决于原始技能的暴露，更取决于预训练是否将这些原始技能组织成可供RL后续压缩的约简过程。基座模型提供的是弱过程性成分，RL将其构建为可靠的高层级策略。

为什么重要

该工作首次在可控环境中直观展示了RL后训练如何从原始技能中涌现出组合策略，揭示了探索选择性比探索数量更关键，并为理解大型语言模型中RL后训练（如RLHF、GRPO）的底层机制提供了可审计的简化模型。

局限与不确定性

本研究完全基于一种特定的人工重写语法环境，其结论在更复杂的自然语言或视觉任务中的泛化性待核实。
实验中模型的规模与架构细节（如Transformer层数、参数量）未完整给出，待核实。
RL所发现的组合策略是否包含更丰富的类型（如条件组合或递归组合）尚未展开讨论，待核实。

可用于图书/PPT/简报的角度

教学案例： 用“符号重写”小实验直观解释RL如何“组装”技能。
产业启发： 训练大模型时，RL后训练应更关注探索的选择性而非单纯增加采样量；预训练阶段应有意组织技能结构。
PPT幻灯片标题示例： “从原始操作到组合策略：RL后训练的显微镜”“拒绝微调为何失效？—探索选择性的力量”。

原始材料

arXiv论文：RL Post-Training Builds Compositional Reasoning Strategies
arXiv ID：2607.07646v1
URL：https://arxiv.org/abs/2607.07646v1
PDF：https://arxiv.org/pdf/2607.07646v1