知识卡片：双时钟视角——为何更大的 Rollout Batch 学得更慢却会准时崩溃

一句话结论

在可验证奖励强化学习（RLVR）中，简单的平方根学习率缩放并不能在多步训练中保持样本效率：更大的 rollout batch 会因曲率损失导致进度变慢，同时存在一个与 batch 无关的“失败时钟”，使模型在相近的样本消耗下崩溃。

事件概述或研究问题

RLVR 依赖昂贵的模型生成响应，因此实践中倾向于使用更大的 rollout batch，并配合平方根学习率缩放来维持每样本进度。此前有报告称，在每次 rollout 只做一步优化器更新的设定下，该规则能大致保持每样本进度，但在实际多步训练中这一规则的理论基础并不清楚。本文提出“双时钟”（two clocks）框架，将“取得进度所需的样本数”与“崩溃前消耗的样本数”区分开来，试图解释大 batch 训练中同时出现的“学得慢”与“准时失败”现象。

方法/产品要点

• 双时钟框架：区分进度时钟（progress clock）与失败时钟（failure clock）。
• 局部二次模型分析：在二次近似下，平方根规则能保持每样本的一阶漂移，但不能保持实际进度；更大的 batch 意味着更少但更长的更新，曲率损失更大。
• 临界 batch 假说：存在一个依赖学习率的临界 batch，超过该值后样本效率下降。
• 漂移阈值假说：预测存在一个互补的失败时钟，其样本数在平方根规则下近似不变。
• 实验设置：在 Qwen2.5-Math-1.5B 上进行受控 GRPO 实验，batch 范围跨越 16 倍。
• 调度推导：基于双时钟框架给出多步 RLVR 的训练调度——从低于临界 batch 开始，在失败前切换到更大的 batch。

主要结果或产业意义

• 16 倍 batch 范围的 GRPO 实验支持了两个预测：进度差距与失败时钟的近似不变性。
• Ratio clipping 会延迟失败，尤其对更大的 batch 更明显，但进度差距在没有 clipping 时依然存在。
• 放宽 clip 会以稳定性换取短暂的加速。
• 进度差距在另一数据集、一个通用 checkpoint 以及 7B 模型上重现，说明该现象不局限于特定模型或数据。
• 产业意义：为 RLVR 训练中 batch size 与学习率的选择提供了可操作的调度依据——并非越大越好，需要在临界 batch 与失败时钟之间切换。

为什么重要

大 batch 训练常被视为提升吞吐、降低单位成本的手段，但本文指出在 RLVR 多步训练中，它可能同时带来“学得慢”和“准时崩溃”两个问题。双时钟框架把这两个现象统一到一个可预测的结构中，并给出可执行的 batch 调度策略，对实际训练成本与稳定性都有直接影响。该工作也延续了“RLVR 训练动力学”这一脉络：此前相关卡片多关注具体任务的 RL 应用（如 MPFlow、VidForensics-M1、UMM-Reflection），而本条补充的是 RLVR 训练本身的 batch/学习率缩放规律，属于更底层的训练机制层面。

局限与不确定性

• 理论分析基于局部二次模型，实际训练中的非二次效应与长程动力学是否完全吻合待核实。
• 实验主要基于 GRPO 与 Qwen2.5-Math 系列，其他 RLVR 算法（如 PPO 变体）与模型家族是否同样适用待核实。
• “失败时钟”样本数近似不变的结论是否在更大 batch 范围（超过 16 倍）或不同任务分布下成立待核实。
• 论文提及的调度策略（先低于临界 batch，再在失败前切换）在实际大规模训练中的收益幅度待核实。
• 代码已公开于 https://github.com/WinstonLiyt/two-clocks-rlvr，但复现细节与超参敏感性待核实。

可用于图书/PPT/简报的角度

• “大 batch 不等于高效率”：用双时钟图解释 RLVR 中 batch 扩大的非线性代价。
• 训练调度设计：从“固定 batch”到“分阶段 batch 切换”的实践建议。
• 曲率损失：为什么更长的更新步骤会在二次近似下损失更多进度。
• 稳定性与速度的权衡：ratio clipping 延迟失败但代价是稳定性。
• 跨规模一致性：1.5B 到 7B、数学到通用 checkpoint 的现象重现，适合说明结论的鲁棒性。

原始材料

• 标题：Two Clocks: Why Larger Rollout Batches Learn Slower but Fail on Schedule in Reinforcement Learning with Verifiable Rewards
• arXiv ID：2610.18853v1
• 作者：Yuante Li, Junwei Quan, Kai Qiu, Kate Zhang, Yicheng Tao
• 发布：2026-10-13T17:58:57Z
• 主分类：cs.LG；分类：cs.LG, cs.AI
• Abstract URL：https://arxiv.org/abs/2610.18853v1
• PDF URL：https://arxiv.org/pdf/2610.18853v1
• 代码：https://github.com/WinstonLiyt/two-clocks-rlvr
• 关键词：RLVR, rollout batch, square-root learning-rate scaling, two clocks, critical batch, GRPO, ratio clipping, training schedule