知识卡片：FOCUS——面向长程语言模型智能体的主动评论家学习

一句话结论

FOCUS 是一种强化学习方法，通过“选择性分支”让评论家网络主动从最能降低估值误差的状态采样续写，从而在稀疏结果奖励下改善长程智能体的信用分配；据摘要，其在 Qwen3.5-9B 规模、匹配每步生成预算下优于 GRPO 与 VinePPO（具体数字待核实）。

事件概述或研究问题

长程语言模型智能体的训练面临稀疏结果奖励问题：最终成败难以归因到早期动作。学习型评论家可对中间状态估值以缓解信用分配，但估值可能不准；若在轨迹内多个点重复采样续写来估计中间价值，成本又很高。FOCUS 试图在“估值准确性”与“采样成本”之间取得平衡。

方法/产品要点

• 核心机制：选择性分支（selective branching）驱动的评论家主动学习。
• rollout 控制器从“预期最能降低评论家估计误差”的状态采样续写，为评论家提供训练目标。
• 用改进后的估值以 TD(λ) 优势对相邻状态之间的片段打分。
• 通过模块化上下文管理接口，将上下文管理与 rollout 分配解耦，以支持长程智能体强化学习。
• 摘要提到使用“压缩（compaction）诱导的片段边界”进行估值与信用分配（与上下文压缩机制的耦合细节待核实）。

主要结果或产业意义

据摘要，在匹配每步生成预算条件下，FOCUS 在法律推理、深度搜索、代码定位基准上优于 GRPO 与 VinePPO；在 Qwen3.5-9B 规模上，BrowseComp-Plus 的留出准确率较最强基线提升 7.2 点（55.4 vs. 48.2），DeonticBench 提升 4.1 点（56.5 vs. 52.4）。上述数值与实验设置均待核实（正文未抓取）。

为什么重要

• 把“评论家该在哪里多采样”变成主动学习问题，直接针对长程信用分配的成本-精度矛盾。
• 与已有的 CompactionRL 卡片形成互补：CompactionRL 侧重从压缩历史中学习，FOCUS 则把压缩产生的片段边界用于估值与信用分配，属于同一“压缩×长程 RL”脉络上的增量视角（两者关系与差异待核实）。

局限与不确定性

• 正文未能抓取，方法细节、基线配置、预算匹配方式、统计显著性均待核实。
• 摘要未说明选择性分支带来的额外 rollout 开销如何计入“匹配预算”，待核实。
• 仅在摘要提及的三个基准与单一模型规模上报告，泛化性待核实。
• arXiv 编号 2610.35801 与 2026 年时间线的一致性待核实。

可用于图书/PPT/简报的角度

• “评论家也会主动提问”：把主动学习引入长程智能体的价值估计。
• 稀疏奖励下的信用分配成本账：在哪些状态多采样最划算。
• 上下文压缩不只是省 token：压缩边界可充当估值与信用分配的自然单元。
• 与 GRPO/VinePPO 的对照：同类预算下的长程任务表现差异（数据待核实后使用）。

与既有脉络的关系

相较 CompactionRL（压缩历史进 RL 训练）与 WCM（评论家显式预测未来潜在状态），FOCUS 的增量在于“用选择性分支主动选择估值采样点”，并把压缩诱导的片段边界用作 TD(λ) 信用分配单元；三者共同指向“评论家/上下文结构如何服务长程信用分配”这一主题（具体异同待核实）。

原始材料

• 标题：FOCUS: Active Critic Learning for Long-Horizon Language Model Agents
• 来源：arXiv（Track: academic；Topics: foundation-model）
• URL: https://arxiv.org/abs/2610.35801v1
• 说明：正文未抓取，本卡片仅基于标题、摘要与元数据整理，标注“待核实”处需回原文确认。