在 BF16 精度下进行 LLM 强化学习时,训练端只需在 RoPE、SwiGLU、残差 RMSNorm 三处将舍入位置对齐推理端(中间量保留 FP32 直至 BF16 输出),即可避免默认 BF16 基线出现的训练崩溃,且在所研究的运行中仅对齐 RoPE 路径就已足够。
值得关注:本条与既有卡片中“Score Centering 稳定离策略强化学习”关注同一类训练-推理不匹配(TIM)问题,但切入维度不同:Score Centering 针对逐步累积的偏差施加加性校正项,本条则从数值实现的舍入位…