知识卡片：面向 LLM 智能体扩展的回合级 Best-of-N 采样

一句话结论

论文评估了一种简单的推理时扩展方法——回合级 Best-of-N 采样（turn-level best-of-N sampling）：每一步由生成器模型产生多个候选动作，再由选择器模型从中挑选一个执行；在长程终端任务上带来 5–10% 的准确率提升，并提高了重复尝试的一致性。

事件概述或研究问题

• 研究对象：复杂、长程（long-horizon）任务上的 LLM 智能体推理时扩展。
• 核心问题：能否用现成的、开放权重的 LLM 直接比较不同候选动作，从而在推理阶段提升智能体表现。
• 与相关工作（Zainullina 等，2025，引导式搜索使用 critic 模型）的区别：本文不依赖专门的 critic 模型，而是评估通用开放权重 LLM 作为选择器的有效性。

方法/产品要点

• 方法名称：回合级 Best-of-N 采样（turn-level best-of-N sampling，摘要中以 \method 占位）。
• 框架：生成器–选择器（generator-selector）双 LLM 结构。
  • 每一回合，生成器模型生成 (N) 个候选动作。
  • 选择器模型从中选出 1 个动作。
  • 被选动作在环境中执行。
• 评测场景：长程终端任务（long-horizon terminal tasks）。
• 分析维度：准确率、重复尝试的一致性、智能体轨迹中的行为模式变化。

主要结果或产业意义

• 准确率：相对基线提升 5–10%。
• 一致性：在重复多次尝试中表现更稳定。
• 行为变化（据轨迹分析）：求解任务所需尝试次数减少、任务指令遵循改善、调试与测试行为增多。
• 产业意义：提供了一种无需额外训练、仅靠推理时采样与现成开放权重模型即可增强智能体长程任务表现的思路，对低成本部署智能体有参考价值。

为什么重要

• 推理时扩展（inference-time scaling）是提升智能体能力的一条低门槛路径，本文说明“回合级”采样（而非仅对最终答案采样）在长程任务上有效。
• 使用开放权重 LLM 直接做动作比较，降低了对外部 critic 模型或专门训练的依赖。
• 与既有脉络的关系：本卡片关注推理阶段的动作选择扩展；与 TRACE 关注训练阶段的回合级奖励分配不同，二者分别从推理时与训练时处理长程智能体的信用/选择问题，可互为补充。

局限与不确定性

• 具体使用的生成器与选择器模型型号、(N) 取值、基线设置、任务集与评测细节：待核实（摘要未给出）。
• “5–10%”提升的统计显著性与误差范围：待核实。
• 是否与更强基线（如带 critic 的引导式搜索）直接对比：待核实。
• 行为模式变化（尝试次数减少、调试与测试增多）的量化指标与判定方式：待核实。

可用于图书/PPT/简报的角度

• 作为“推理时扩展”章节的案例：如何用采样+选择替代单次贪心解码。
• 作为“生成器–选择器”架构示意图：每回合 (N) 候选→选择→执行。
• 作为“开放权重模型替代专用 critic”的讨论素材。
• 与训练侧方法（如回合级信用分配）对照，形成“推理时 vs 训练时”的方法版图。

原始材料

• 标题：On Turn-Level Best-of-N Sampling for Scaling LLM Agents
• 作者：Jalaj Bhandari, Dhawal Gupta, Hongli Zhan, Zhenting Wang, Varad Pimpalkhute, Zhengzhong Liu, Eric Xing, Rupesh Srivastava
• arXiv ID：2611.06868v1（cs.AI），提交时间 2026-11-04
• 摘要页：https://arxiv.org/abs/2611.06868v1
• PDF：https://arxiv.org/pdf/2611.06868v1
• 关键词：turn-level best-of-N sampling；generator-selector；inference-time scaling；LLM agents；long-horizon tasks