知识卡片：EliteReplay——在强化学习后训练中通过质量-多样性搜索保留多样化解法

一句话结论

EliteReplay 是一种将 GRPO 与“精英档案”（由质量-多样性搜索构建）结合的后训练配方，目标是在提升准确率的同时保留基座模型在可验证任务上产生多种正确解法的能力；具体数值与实验细节待核实。

研究问题

强化学习已成为提升大语言模型在可验证任务上准确率的常见后训练手段，但这类训练可能收窄模型可产生的解法集合（行为锐化）。已有方法尝试缓解该问题，但往往优化的指标并不反映“正确解法的多样性”。理想目标是模型能产出多个好解法，而非仅一个可靠解法。本工作提出 EliteReplay 以应对这一张力。

方法/产品要点

• 训练前：使用冻结的基座模型收集覆盖不同解题思路的解法，构建“精英”档案（elite archive），该档案由质量-多样性搜索（quality-diversity search）构建。
• 训练中：将 GRPO 与该档案上的回放损失（replay loss）结合。
• 目标：后训练模型在提升准确率的同时，保留更多基座模型的解法多样性。

主要结果或产业意义

据摘要（需以原文核实）：

• 在多个 text-to-SQL 任务上，EliteReplay 的 pass@128 高于所有基线，产生的“不同正确策略”数量比最强基线最多多 77%。
• 在策略保留（strategy retention）上优于现有方法，保留了基座模型的大部分正确策略。
• 在歧义问题上体现实际收益：在 AmbiQT 上覆盖两种解释的频率接近最强基线的两倍。 以上数据均待核实。

为什么重要

若结果成立，EliteReplay 指向一种后训练取舍的再平衡：不只追求单点可靠答案，而是维持可用的解法多样性，这对歧义问题、多解可验证任务（如 SQL）以及下游需要多候选策略的场景具有直接意义。与“强化学习后训练构建组合推理策略”等既有脉络相比，本条关注的是多样性保留而非技能组合涌现，属于对 RL 后训练副作用（行为锐化）的针对性修正；增量信息待原文确认。

局限与不确定性

• 未能抓取正文，本卡片仅基于标题、摘要与元数据；方法细节（档案规模、回放损失形式、基线设置、统计显著性）均待核实。
• 摘要仅报告 text-to-SQL 与 AmbiQT 结果，其他任务类型的泛化性待核实。
• “不同正确策略”的判定标准与人工/自动评估口径待核实。
• arXiv 编号 2610.22290 对应的提交时间与版本信息待核实。

可用于图书/PPT/简报的角度

• 后训练的“锐化”副作用：准确率之外的多样性代价。
• 质量-多样性搜索（QD）与 RL 的结合范式：训练前建档案、训练中回放。
• 评价指标反思：为何 pass@k 与“正确策略数”需要区分。
• 歧义问题作为多样性价值的落地检验场景（AmbiQT）。

与既有脉络的关系

与“强化学习后训练构建组合推理策略”卡片互补：前者讨论 RL 后训练如何组合出高层策略，本条讨论如何避免 RL 后训练压缩解法空间；两者共同构成“RL 后训练的能力增益与多样性代价”的对照视角。增量信息以原文为准，待核实。

原始材料

• 标题：EliteReplay: Preserving Diverse Solutions in RL Post-Training via Quality-Diversity Search
• 来源：arXiv，https://arxiv.org/abs/2610.22290v1
• Track：academic；Topics：foundation-model
• 关键词：GRPO、quality-diversity search、elite archive、replay loss、pass@128、strategy retention、text-to-SQL、AmbiQT
• 说明：正文未抓取，以上内容基于元数据与摘要，待核实。