论文提出用“近最优区域”而非单个最优比例来刻画 LLM 后期训练中 SFT(监督微调)与 RL(强化学习)之间的标注预算分配问题;研究发现该区域即使在 2%–10% 的较小性能容差下也相当宽,会随模型规模增大而变宽,并且可以从较小的代理模型可靠迁移到较大的目标模型。因此,用小模型做预算分配扫描,可能就不再需要对大模型进行穷举式搜索。
值得关注:与已有卡片相比,本条不是讨论具体训练数据如何选择,也不是讨论多模态模型的计算分配,而是聚焦 LLM 后期训练中 SFT 与 RL 之间的“标注预算比例”。其增量信息在于:预算分配不一定需要精确找到最优比例,只需要找到一…