知识卡片：在RLVR中将探索与优化解耦（ExpDis）

一句话结论

论文提出 ExpDis：把 RLVR 中带新颖性奖励的“探索”与不带该奖励的“优化”分开，先训练探索策略、过滤轨迹，再蒸馏给学生策略，多轮交替；摘要称在七个数学推理基准、两个模型家族上，相同 wall-clock 预算下优于 DAPO，并改善 pass@k 扩展表现。

事件概述或研究问题

现代语言模型通常在已有 checkpoint 上做 RLVR。RLVR 的承诺之一是发现新推理策略，理论上可采样出训练数据中不存在的新想法。但实践中，给 RLVR 加很强的新颖性激励收效有限，还可能损害模型质量。由于可验证奖励只覆盖模型知识与行为的一小部分，这种质量退化难以恢复。本文要解决的问题是：如何扩大探索，同时不让学生/最终策略退化？

方法/产品要点

• 框架名：Exploration-Distillation（ExpDis）。
• 训练一个或多个 explorer policies，其奖励含 novelty bonus。
• 对 explorer 产生的 trajectories 按 correctness 与 quality 过滤。
• 将过滤后的轨迹蒸馏到一个独立的 student policy。
• student policy 训练时不加 novelty bonus。
• 重复上述过程若干轮，在 exploration 与 optimization 之间交替。
• 摘要称，这种解耦允许激进扩大探索而不降低 student policy。
• 具体 novelty bonus 定义、过滤器标准、蒸馏损失、轮数、模型规模、基准清单与计算预算细节：摘要未给，待核实。

主要结果或产业意义

• 在七个数学推理基准、两个模型家族上，ExpDis 在相同 wall-clock budget 下优于 DAPO。
• 观察到改进的 pass@k scaling，说明模型能生成更多样化的正确解。
• 产业意义：为 RLVR 的探索-优化冲突提供了一种“探索端可承担风险，优化端保持质量”的工程思路；但绝对性能、成本与数学外任务泛化性待核实。
• DAPO 的具体配置与全称在来源摘要中未展开，待核实。

为什么重要

• 与已有卡片“弱模型引导提升RLVR中LLM的探索”同属 RLVR 探索增强脉络。该卡增量在于：不是用外部弱模型前缀，而是把 novelty bonus 限制在 explorer 端，并用过滤+蒸馏将探索成果转移给无 novelty bonus 的 student 端。二者机制不同，能否叠加待核实。
• 若摘要结论成立，它把“探索”从最终策略的优化目标中拆出，可能降低强新颖性激励对模型质量的直接伤害，并改善多样性正确解的数量。

局限与不确定性

• 本卡片仅依据来源摘要与元数据；论文全文、附录、代码和实验细节未获取。
• 以下内容待核实：七个数学推理基准具体名称；两个模型家族具体名称与规模；DAPO 基线配置；wall-clock 预算数值；explorer 数量与策略；novelty bonus 形式；正确性/质量过滤规则；蒸馏目标；交替轮数；随机种子与显著性；是否开源。
• 数学推理之外的通用性、安全性、对齐影响、长上下文/工具使用等场景待核实。
• 来源材料标注发布日期为 2026-10-07T17:59:26Z；该日期与当前系统日期的关系待核实。

可用于图书/PPT/简报的角度

• “探索悖论”：为什么给 RLVR 加新颖性奖励可能反而降低质量。
• “探索端可脏，优化端要净”：explorer-student 分离的架构隐喻。
• 过滤+蒸馏作为探索成果进入最终策略的质量阀门。
• 用 pass@k scaling 而不是单点准确率衡量多样性正确解。
• 相同 wall-clock 预算下与 DAPO 对比的工程评估视角。
• 与弱模型引导、熵正则、课程学习等探索增强路线的对比（对比细节待核实）。

原始材料

• 英文标题：Decoupling Exploration from Optimization in RLVR
• 作者：Saif Punjwani, Micah Goldblum
• arXiv ID：2610.10536v1
• 类别：cs.LG; cs.AI; cs.CL
• 英文关键词/术语（据摘要提炼）：RLVR; Exploration-Distillation (ExpDis); novelty bonus; DAPO; pass@k; mathematical reasoning
• Abstract URL：https://arxiv.org/abs/2610.10536v1
• PDF URL：https://arxiv.org/pdf/2610.10536v1
• 来源材料标注发布/更新：2026-10-07T17:59:26Z
• Track：academic；Topics：foundation-model