知识卡片：Score Centering 稳定离策略强化学习

一句话结论

论文提出：大语言模型强化学习在训练-推理不匹配（TIM）下的不稳定，主要来自训练与推理引擎之间逐步累积的持续偏差（drift）；一个加性的“score centering”校正项可抵消 drift，从而稳定离策略 RL，并可和重要性采样叠加使用。

事件概述或研究问题

大语言模型 RL 对训练引擎与推理引擎之间的微小差异非常敏感，这种现象称为 training-inference mismatch（TIM）。完全消除 TIM 不实际，因为会严重损害 rollout 效率。论文研究的问题是：在 TIM 无法消除的前提下，如何稳定 RL 训练。作者给出的核心归因是 drift：训练与推理引擎之间持续存在、并随每个训练步累积的偏差。

方法/产品要点

• 将 TIM 下 RL 不稳定的主因归为 drift，而不是仅将其视为单步重要性采样偏差问题。
• 推导一个加性校正项 “score centering”，通过抵消 drift 来稳定 RL。
• 该校正项是加性的，因此可与基于 importance sampling 的方法组合。
• 实验覆盖 0.6B 到 30B 参数模型；测试场景包括量化（quantization）下的不匹配，以及 staleness 实验。
• 具体数学推导、score centering 公式、实现方式、训练算法与超参数：待核实。

主要结果或产业意义

• 在量化导致的不匹配下，单独使用 score centering 即可达到或超过基于 importance sampling 的方法；不匹配越严重，优势越大。
• 在 staleness 实验中，score centering 与 importance sampling 的组合优于纯 importance-sampling 基线。
• 若结果可复现，可能的产业意义在于：不必以牺牲 rollout 效率为代价追求训练/推理引擎完全一致，而是可用加性校正缓解量化、异步/陈旧 rollout 等系统差异。具体部署收益、成本与通用性待核实。

为什么重要

LLM RL 通常依赖训练与推理引擎分离的工程栈，TIM 会直接影响训练稳定性。既有思路常通过 importance sampling 做重加权，而本文把问题进一步归因于可累积 drift，并给出可组合的加性校正。与已有相关卡片相比，本条不是可解释 RL、上下文压缩 RL 或多智能体图式策略，而是 foundation-model RL 的训练稳定性/系统不匹配方向；增量信息是 TIM 下 drift 的显式校正，以及与 importance sampling 的组合验证。

局限与不确定性

• 当前来源仅为 arXiv 摘要与元数据，无法确认完整论文中的理论推导、实验设置、模型家族、任务/数据集、评价指标、基线清单和统计显著性。
• “score centering” 的具体公式、训练集成方式、计算开销、对超参数的敏感性：待核实。
• 0.6B 到 30B 参数模型的具体型号、训练/推理引擎配置、量化方案与 staleness 设置：待核实。
• 代码、数据、模型是否开源，是否经过同行评审或正式发表：待核实。
• 元数据标注发布时间为 2026-09-17T17:58:17Z，版本为 v1；来源状态与后续版本更新：待核实。

可用于图书/PPT/简报的角度

• 把训练-推理不匹配（TIM）作为 LLM RL 工程化的核心瓶颈之一。
• 从“重要性采样重加权”转向“drift 校正”的稳定性叙事。
• 加性校正与重要性采样的正交/可组合性，适合讲方法模块化。
• 量化推理、异步训练、陈旧 rollout 等现实约束下，如何维持 RL 稳定。
• 0.6B 到 30B 参数规模验证，可作为 scalability 论据；具体任务与指标待核实后引用。

原始材料

• English title: Score Centering Stabilizes Off-policy Reinforcement Learning
• English keywords（根据摘要提取；原文未单列关键词）: reinforcement learning; large language models; training-inference mismatch (TIM); off-policy reinforcement learning; score centering; importance sampling; drift; quantization; staleness
• Authors: Martin Marek, Max Ryabinin
• arXiv ID: 2609.20807v1
• Primary category: cs.LG
• Published/Updated: 2026-09-17T17:58:17Z
• Abstract URL: https://arxiv.org/abs/2609.20807v1
• PDF URL: https://arxiv.org/pdf/2609.20807v1