知识卡片：Beacon：知道何时以及如何进行智能体视觉推理

一句话结论

现有智能体视觉推理模型在“工具使用时机”和“工具实际收益”上存在明显短板：工具既能帮助解决难题，也会在简单问题上引入额外错误；为此提出的 Beacon 模型通过强化学习阶段的两个机制，同时提升了整体性能、工具调用自适应性和真实的工具收益。

事件概述或研究问题

本文重新审视多模态大语言模型（MLLM）的智能体视觉推理，提出不应只追求“复杂但低效”的推理范式，而应聚焦于工具使用的两个核心维度：

• 模式自适应性（Mode Adaptiveness, MA）：模型能否识别任务是否真的需要工具，并据此调用工具，从而在避免不必要计算开销的同时，提升需要工具辅助的难题表现。
• 工具效应（Tool Effect, TE）：工具使用的实际影响——工具应扩展模型解决纯文本推理无法解决的问题的能力，同时避免在模型本可无工具解决的简单问题上引入额外错误。

作者通过综合分析量化这两个性质，发现现有模型的自适应性有限：工具在难题上带来的收益，很大程度上被简单问题上引入的损害所抵消。

方法/产品要点

针对上述问题，作者提出 Beacon，一种新型智能体视觉推理模型。其核心是在强化学习阶段引入两个机制：

• Necessity-Aware Adaptive Reward（必要性感知自适应奖励）：根据任务必要性鼓励模型自适应地调用工具。
• Hint-Guided Capability Expansion（提示引导的能力扩展）：强化模型在最困难问题上的工具使用能力。

两个机制共同作用于工具“何时用”和“如何用”的问题。

主要结果或产业意义

• Beacon 在多个不同基准上的实验显示，其整体性能强于现有方法。
• 在 Mode Adaptiveness 和 Tool Effect 两个维度上均获得显著改善。
• 产业意义：为多模态智能体设计更高效、更可靠的工具调用策略提供了一条可行路径，可减少不必要的计算开销，同时提升复杂视觉任务的完成成功率。

为什么重要

• 该工作将“工具使用”拆解为“时机”和“效果”两个可量化维度，为智能体视觉推理提供了更系统的评估视角。
• 揭示了现有模型的一个普遍问题：工具带来的收益可能被简单样本上的退化抵消，这对评估和部署工具增强型 MLLM 具有警示意义。
• 与既有相关卡片的不同点：已有卡片分别关注物理推理中的视觉-动作对齐、任务复杂度感知的成本控制、以及训练数据选择；本卡片的增量信息在于聚焦“工具调用的必要性与实际收益”，并提出对应的强化学习训练机制。

局限与不确定性

• 摘要未给出具体实验数值，Mode Adaptiveness 和 Tool Effect 的量化指标细节待核实。
• 具体基准名称、数据规模、与基线模型的对比幅度等细节，在摘要中未展开，待核实。
• 所提出的两个机制的具体实现方式、奖励函数设计、消融实验等，需查看全文进一步确认。

可用于图书/PPT/简报的角度

• 用“会调用工具 ≠ 会用好工具”作为切入点，说明智能体需要同时学会“何时不用工具”和“何时必须用工具”。
• 可绘制两个维度（Mode Adaptiveness 与 Tool Effect）的示意图，展示“难题受益、简单题受损”的抵消现象。
• 展示强化学习中的“必要性感知奖励”与“提示引导能力扩展”如何分别对应“时机”与“能力”的改进。
• 引申到多模态大模型在实际落地中的成本节省与可靠性问题。

与既有脉络的关系

既有卡片涉及“视觉动作结果推理对齐”“任务复杂度感知的推理与执行”“任务感知与预算感知的数据选择”，本卡片是对智能体工具使用维度的延伸，强调工具调用“时机”与“效果”的联合优化，而非仅关注成本或任务复杂度。

原始材料

• 英文标题：Beacon: Knowing When and How to Perform Agentic Visual Reasoning
• 英文关键词：agentic visual reasoning; tool use; multimodal large language models (MLLMs); Mode Adaptiveness; Tool Effect; reinforcement learning
• 原始来源：https://arxiv.org/abs/2607.28595v1