知识卡片：近最优 SFT-RL 标注预算分配：从中小模型迁移到大模型

英文标题：Scaling Near-Optimal SFT-RL Annotation Budget Allocation from Small to Large LLMs
英文关键词：SFT-RL budget allocation; near-optimality; transfer across model scales; annotation cost asymmetry; LLM post-training

一句话结论

论文提出用“近最优区域”而非单个最优比例来刻画 LLM 后期训练中 SFT（监督微调）与 RL（强化学习）之间的标注预算分配问题；研究发现该区域即使在 2%–10% 的较小性能容差下也相当宽，会随模型规模增大而变宽，并且可以从较小的代理模型可靠迁移到较大的目标模型。因此，用小模型做预算分配扫描，可能就不再需要对大模型进行穷举式搜索。

事件概述或研究问题

大型语言模型的后期训练通常同时使用 SFT 和 RL，但固定的标注预算如何在两者之间分配仍是一个开放问题。已有研究只给出了粗略趋势，例如低数据区域中 SFT 占主导，缺少原则性的分配框架，也没有验证最优比例是否能跨模型规模迁移。

本文把这个任务重新表述为“近最优性”问题：不追求唯一最优比例，而是刻画一个“近最优区域”，即所有落在峰值性能给定容差范围内的分配方案。这样可以更现实地指导预算分配，因为实际中微调性能对分配比例可能并不敏感。

方法/产品要点

提出用“近最优区域”作为 SFT-RL 标注预算分配的分析对象。
使用小型代理模型进行实验，识别可迁移的近最优区域。
在多个任务、多个模型家族中验证结论。
覆盖两类 RL 方法：基于偏好的离策略 RL，以及基于奖励监督的在线策略 RL。
额外分析 SFT 与 RL 数据标注成本不对称时，近最优区域如何偏移。

主要结果或产业意义

即使容差只有 2%–10%，近最优区域也较宽，说明达到接近最优性能的 SFT-RL 比例并非狭窄的单一最优点。
近最优区域随模型规模增大而变宽。
小型代理模型找到的近最优区域可以可靠迁移到大型目标模型。
实际启示：可以先用低成本小模型实验锁定大致比例范围，再在大模型上执行训练，减少大规模超参数/预算搜索开销。

为什么重要

与已有卡片相比，本条不是讨论具体训练数据如何选择，也不是讨论多模态模型的计算分配，而是聚焦 LLM 后期训练中 SFT 与 RL 之间的“标注预算比例”。其增量信息在于：预算分配不一定需要精确找到最优比例，只需要找到一个足够宽的近最优平台；并且这个平台可以通过小模型实验提前获知并迁移到大模型。

局限与不确定性

用户提供的源材料为元数据与候选摘要，未能抓取论文正文，因此具体任务名称、模型规模范围、RL 算法配置、成本不对称建模方式等细节待核实。
“近最优区域宽” “随规模变宽” “跨规模迁移可靠”属于论文作者基于实验的概括，尚需在原文中核对实验条件与统计口径。
注释成本不对称如何具体移动近最优区域，本文档只能转述其研究方向，暂无法给出定量结论。

可用于图书/PPT/简报的角度

概念图：横轴为 SFT 数据占比，纵轴为最终性能，绘制“性能高原”而非“尖峰”，说明最优分配不是一个点，而是一片区域。
管理启示：与其浪费算力在大模型上试多个比例，不如先用小模型快速圈定“安全区间”。
提问式标题：“你把 SFT 和 RL 数据比例调成 7:3，但差 2% 性能真的重要吗？”

原始材料

英文标题：Scaling Near-Optimal SFT-RL Annotation Budget Allocation from Small to Large LLMs
URL：https://arxiv.org/abs/2609.01573v1
Track：academic
Topics：foundation-model
源材料状态：未能抓取正文，仅基于已知元数据与候选摘要生成本卡片；具体内容待核实。