知识卡片：半事实信用增强策略优化（SCAPO）

一句话结论

SCAPO 将半事实（semifactual）提示干预下的 token 概率漂移纳入 GRPO 的 token 级信用分配，在 Qwen3-4B-Base 和 Qwen3-1.7B-Base 上相比 GRPO 提升 AIME 2024-2026 准确率 5.63 和 4.17 个百分点，表明半事实稳定性可作为 RLVR 中细粒度训练信号。

事件概述或研究问题

• 背景：Reinforcement Learning with Verifiable Rewards（RLVR）提升了大语言模型（LLM）的推理能力，但模型预测仍对任务无关的 prompt 特征敏感。
• 研究切入点：使用半事实 prompt 干预（semifactual prompt interventions）——保留原问题及其答案不变，只改变任务无关的 prompt 特征——来考察这种敏感性。
• 关键观察：token 级敏感性存在显著差异；在解码阶段抑制高漂移 token 候选可提升推理准确率，且无需更新模型权重。
• 问题指向：Group Relative Policy Optimization（GRPO）把同一个由结果导出的 advantage 分配给响应中的所有 token，可能同时强化有用推理与潜在虚假依赖。

方法/产品要点

• 提出 Semifactual Credit-Augmented Policy Optimization（SCAPO），一种受因果思想启发的 GRPO 变体。
• SCAPO 在固定响应下测量半事实干预造成的 token 概率漂移，并用归一化稳定性分数调整 token 级信用分配。
• 训练早期，SCAPO 会降低相对不稳定 token 的 advantage；稳定性本身不会获得额外正 credit。
• 摘要还报告了一个解码期现象：抑制高漂移 token 候选可提升推理准确率，且不需要更新模型权重。
• 代码已公开：https://github.com/DtYXs/SCAPO 。

主要结果或产业意义

• 在 Qwen3-4B-Base 与 Qwen3-1.7B-Base 上，SCAPO 相比 GRPO 在 AIME 2024-2026 上分别提升 5.63 和 4.17 个百分点。
• 在这两个模型规模上，SCAPO 在多数被评估的数学基准以及所有被评估的分布外（OOD）基准中，均为所比较方法中的最佳结果。
• 作者结论：半事实稳定性可作为一种有效训练信号，通过 RLVR 中更细粒度的信用分配改进推理与泛化。
• 产业意义：若结果可复现，这为 RLVR 训练配方提供了方向——从“整条响应统一 advantage”走向“token 级稳定性信用分配”，并可能改善模型对 prompt 扰动的鲁棒性。

为什么重要

• 它直接指出 GRPO 类方法的一个潜在缺陷：结果奖励被均匀摊到所有 token 上，可能把虚假相关性也一并强化。
• SCAPO 的增量在于把“半事实稳定性”转化为 token 级信用信号，而不是只做解码期干预或只依赖最终答案正确性。
• 与已有“β-OPSD”等策略优化/自蒸馏卡片相比，SCAPO 属于同一“改进策略优化与训练信号”脉络，但聚焦 RLVR 中的 GRPO、token 级信用分配与半事实 prompt 干预，而非自蒸馏或结构预测；本条增量是“用因果启发的稳定性测量改造 token advantage”。

局限与不确定性

• 当前仅基于 arXiv 摘要与元数据整理，未阅读全文和完整实验细节；以下内容待核实：
  • 半事实 prompt 干预的具体构造方式、覆盖范围与生成流程。
  • token 概率漂移与归一化稳定性分数的计算公式。
  • “高漂移 token 候选”在解码期如何识别与抑制。
  • 训练成本、超参数、随机种子、统计显著性与基线完整列表。
  • “AIME 2024-2026”的具体评测切分、指标与复现方式。
  • OOD 基准的具体名称、任务类型与规模。
  • 结果是否能推广到 Qwen3 之外的其他模型、非数学推理任务或多模态场景。
• 代码链接虽已给出，但复现性、维护状态与许可协议待核实。

可用于图书/PPT/简报的角度

• “为什么 GRPO 的统一 advantage 可能不够：token 级信用分配的必要性”
• “不更新权重也能提升推理？解码期抑制高漂移 token”
• “半事实干预：保持答案不变的问题扰动如何测稳定性”
• “从结果奖励到 token 级因果稳定性：RLVR 的鲁棒性与泛化”
• “SCAPO 实验结果一页：+5.63 / +4.17 个百分点”
• “策略优化新方向：把稳定性作为训练信号，但不为稳定本身发奖励”

原始材料

• 英文标题：Semifactual Credit-Augmented Policy Optimization
• 作者：Junshu Pan, Zhizhang Fu, Shulin Huang, Yiran Ding, Zifan Cheng, Wenqi Shao, Qiaosheng Zhang, Yue Zhang
• arXiv ID：2609.40360v1
• 分类：cs.LG, cs.AI, cs.CL
• 发布/更新：2026-09-30T17:59:56Z
• Abstract URL：https://arxiv.org/abs/2609.40360v1
• PDF URL：https://arxiv.org/pdf/2609.40360v1
• 代码：https://github.com/DtYXs/SCAPO
• 英文关键词（据标题与摘要整理，非官方关键词表）：Semifactual Credit-Augmented Policy Optimization; SCAPO; Group Relative Policy Optimization; GRPO; Reinforcement Learning with Verifiable Rewards; RLVR; token-level credit assignment; semifactual prompt interventions; Qwen3-4B-Base; Qwen3-1.7B-Base