知识卡片：MM-ToolSandBox：统一评估视觉工具调用代理的框架

一句话结论：MM-ToolSandBox 是一个包含 500+ 工具、覆盖 16 个应用域的有状态评估基准，测试了 12 个先进模型，结果表明当前最强模型在视觉工具调用任务上成功率仍不足 50%，且失败根因随模型规模呈现“规划 vs 精度”的转换。

事件概述或研究问题

• 研究问题：现有基准缺乏对视觉型工具调用代理（visually grounded tool-calling agents）的系统评估，尤其缺少支持多图像、多轮对话、状态变更以及真实对话现象（目标修改、错误纠正、状态突变）的统一评测环境。
• 事件：该论文提出了 MM-ToolSandBox，一个包含自动场景生成管道、人工验证场景集和交互式 UI 变体的基准及评估框架。

方法/产品要点

• 框架构成：
  • 提供有状态执行环境，包含 500+ 工具，横跨 16 个应用领域。
  • 支持多图像、多轮任务，代理必须将渐次到达的视觉输入转化为可执行的工具调用。
  • 处理目标修订、错误纠正、状态变更等真实对话现象。
• 场景生成管道：
  • 基于信息流引导的规划和多阶段质量过滤，自动生成视觉化场景。
  • 产出 258 个经人工验证的名义场景（nominal scenarios）和 50 个针对交互式 UI 应用的变体。
• 评估设置：
  • 测试了 12 个最先进模型，参数规模从 4B 到前沿闭源系统。

主要结果或产业意义

• 整体表现：即使最佳模型，成功率也不足 50%。当前模型普遍缺乏鲁棒的视觉工具调用能力。
• 失败分析：
  • 视觉精度是主要瓶颈：53% 的失败源于图像信息提取错误，尽管任务工作流本身正确。
  • 规模相关的“规划→精度”转折：小模型更多在“决定做什么”（规划）上失败，而大模型更多在“感知看到什么”（精度）上失败。这提示不同能力水平的模型需要完全不同的改进方向。
• 产业意义：对于需要结合视觉感知与工具调用的应用（如智能 UI 操作、视觉问答驱动的自动化），当前模型尚无法可靠部署，需针对性提升视觉精度。

为什么重要

• 填补了视觉工具调用代理系统评估的空白，提供了一个可复现、可扩展的统一基准。
• 揭示出“视觉精度”而非“规划能力”是当前最强模型的主要短板，这一发现与以往认为规划是瓶颈的认识不同。
• 明确指出了不同规模模型的不同改进路径，对后续研究（如针对大模型加强视觉 token 质量，针对小模型加强任务分解）有直接的指导意义。

局限与不确定性

• 论文未披露具体测试模型的名单和精确得分，最佳模型的具体成功率数值待核实。
• 场景生成虽经多阶段过滤，但自动生成场景与真实用户交互场景之间的分布差异尚未讨论。
• 50 个 UI 变体仅针对交互式 UI，其他领域的变体覆盖有限。
• 评价指标仅以成功率为主，未涉及代价、可解释性等维度。

可用于图书/PPT/简报的角度

• 标题建议：“下一代 AI 代理为什么‘看不对’也‘做不对’？——MM-ToolSandBox 揭示视觉工具调用的核心瓶颈”
• 图表可复用：展示不同规模模型的失败类型分布（规划失败 vs 感知失败）的柱状图；500+工具按域分类的雷达图。
• 通俗类比：大模型像“眼高手低”，能想好步骤却看不清按钮；小模型像“手忙脚乱”，看不清也做不对。
• 启发：在 AI 教程中可作为“视觉 grounding + 工具调用”的评估案例，说明 benchmark 设计需包含状态、多轮、错误恢复等现实元素。

原始材料

• 英文标题：MM-ToolSandBox: A Unified Framework for Evaluating Visual Tool-Calling Agents
• 英文关键词：MM-ToolSandBox, visually grounded tool-calling agents, evaluation framework, benchmark, failure analysis
• 来源：arXiv ID 2607.11818v1（2026-07-13），Apple 团队
• URL：https://arxiv.org/abs/2607.11818v1
• 代码与基准：https://github.com/apple/ml-mmtoolsandbox