知识卡片：LESSER：使用输出层梯度进行后训练数据选择

一句话结论

LESSER 提出用输出层梯度近似全参数梯度做后训练数据选择，只需前向传播即可提取特征，在 SFT 与 RL 基准上把特征提取 FLOP 成本分别降至约 1/9.7 和 1/3.0，同时在下游任务上跟踪全梯度方法的性能。

事件概述或研究问题

• 后训练数据选择会显著影响大语言模型下游表现。
• 基于梯度的数据选择通常根据训练样本梯度与小型验证集梯度的对齐程度来排序样本。
• 但用全参数梯度排序需要对每个样本做昂贵的反向传播，在大候选池上计算不可行。
• 研究问题：能否以更低成本近似全梯度特征？作者发现输出层梯度足以进行有效数据选择，且只需较便宜的前向传播。

方法/产品要点

• LESSER 是面向选择方法的 drop-in wrapper（可直接套用的包装器）。
• 核心做法：不提取全参数梯度，而使用输出层梯度作为选择特征。
• 成本特征：输出层梯度只需前向传播，避免每个样本的全参数反向传播。
• 适用基准：材料称覆盖 SFT 和 RL 基准；具体任务、模型与基线待核实。
• 经验观察：即使输出层梯度与全梯度对单个样本的排序不同，它们选出的批次在梯度上是对齐的。

主要结果或产业意义

• 特征提取 FLOP 成本：SFT 降至约 1/9.7，RL 降至约 1/3.0。
• 下游任务表现：材料称跟踪全梯度方法的性能；具体差距与统计显著性待核实。
• 批次选择效果：单样本排序差异并未阻止输出层梯度选出梯度对齐的批次。
• 产业意义：若能推广，可降低大候选池下基于梯度的后训练数据筛选成本，使选择管线更易扩展；端到端训练/选择总成本收益待核实。

为什么重要

• 后训练数据质量直接影响下游性能，但高质量数据选择不能以不可承受的计算成本为代价。
• 该工作把“贵特征”替换为“便宜特征”的思路，可能缓解全参数梯度选择在大规模候选池上的瓶颈。
• 与已有相关卡片的关系：已有卡片涉及数据精炼、压缩、机器人后训练等；本条增量集中在“用输出层梯度近似全梯度以降低后训练数据选择成本”，不重复数据生成、压缩或系统集成主题。

局限与不确定性

• 材料未给出模型规模、数据集、验证集大小、候选池规模、具体 SFT/RL 任务与基线选择方法的细节。
• “输出层梯度足以有效选择”的适用范围（模型、任务、数据分布）待核实。
• “跟踪全梯度性能”的具体含义、量化差距、是否统计显著待核实。
• FLOP 成本降低仅针对特征提取环节，不等同于端到端训练或数据选择总成本同比例降低。
• LESSER 作为 drop-in wrapper 对哪些选择方法兼容、是否需要调参、是否开源，待核实。
• 来源元数据（发布时间、版本更新）以 arXiv 页面为准；材料未提供版本差异说明。

可用于图书/PPT/简报的角度

• 用“便宜的前向传播特征”替代“昂贵的反向传播特征”：数据选择中的工程折中。
• 输出层梯度 vs 全参数梯度：近似特征何时足够？
• 个体排序不一致，但批次梯度对齐：数据选择应优化批次而非单样本排序。
• SFT 与 RL 后训练数据管线的成本优化。
• 大候选池下的数据筛选可扩展性与算力经济学。

原始材料

• 英文标题：LESSER: Post-Training Data Selection with Output-Layer Gradients
• 作者：Lyuxin David Zhang, Eric Wong, Surbhi Goel, Anton Xue
• arXiv ID：2610.03702v1
• 发布时间：2026-10-02T17:55:42Z；更新时间：2026-10-02T17:55:42Z
• 主分类：cs.LG；分类：cs.LG
• Abstract URL：https://arxiv.org/abs/2610.03702v1
• PDF URL：https://arxiv.org/pdf/2610.03702v1
• 英文关键词：Post-Training Data Selection; Output-Layer Gradients; Gradient-Based Data Selection; LESSER; SFT; RL; Large Language Models