知识卡片：OpenVLHarness——带多模态记忆的真实世界视觉智能体工具调用

一句话结论

OpenVLHarness 是一个围绕“能力层 + 持久多模态记忆”组织的多模态推理框架（harness），在 22 个基准、8 个开源与闭源基座上，相比匹配的无工具基线平均提升 9.7–12.6 分；且在 GPT-6 Luna 中等推理投入下，以不超过对比方案 37% 的模型 token 成本超越基座模型、Codex 与 Visual Sketchpad 的最高推理投入表现。

事件概述或研究问题

• 多模态大模型（MLLM）在视觉推理上进步迅速，但许多任务所需的证据难以仅靠内部推理获得。
• 作者在 22 个基准上做了受控研究：单纯提高基座模型的推理预算（inference budget）只带来有限增益。
• 这类任务需要“有依据的感知”、外部知识与数值测量，依赖异构工具；工具输出必须可被模型解读，并在推理步骤间被保留。
• 论文提出 OpenVLHarness 以应对上述需求（发表时间 2026-10-19，arXiv:2610.26860v1，主分类 cs.CL）。

方法/产品要点

• 能力层（capability layer）：将任务级工具接口与“证据渲染”（evidence rendering）结合，为异构后端提供一致访问方式，并把工具输出转换为模型可读的观测。
• 持久多模态记忆（persistent multimodal memory）：在一次查询全程中，把对应的图像、结构化数据与网页引用保留为可寻址的工件（addressable artifacts）。
• 编码接口（coding interface）：在已存数据上执行生成的程序，从而支持组合多个工具结果的数值计算。
• 三者共同支撑“获取—检查—组合”多模态证据的迭代过程。

主要结果或产业意义

• 评测规模：22 个基准、8 个开源与专有基座模型。
• 相比匹配的无工具基线，平均分提升 9.7–12.6 分；其中 Qwen3-VL-8B +11.2、Kimi K3 +9.7、GPT-6 Astra +9.9。
• 效率对比：GPT-6 Luna 在中等推理投入（medium reasoning effort）下，OpenVLHarness 比基座模型、Codex、Visual Sketchpad 在最高推理投入下的表现高出 7.7–8.5 分，同时模型 token 成本至多为后者的 37%。

为什么重要

• 与“只加大推理预算”的路线形成对照：论文的受控研究显示该路线增益有限，提示外部工具与证据管理才是瓶颈所在。
• 与既有“视觉工具使用”脉络相比，本条的重点不在“是否调用视觉工具”的因果审计，而在于把异构工具输出转化为可读证据、并以持久记忆跨步骤保留、再用代码接口组合计算——即工具使用的“证据基础设施”层面。
• 相较 OmniReasoner 聚焦音视频缩放工具的后训练，本条是覆盖多工具、多后端的通用 harness 层方案，并给出跨 8 个基座的评测与 token 成本对比。

局限与不确定性

• “证据渲染”的具体实现细节、记忆的容量与检索机制：待核实（摘要未展开）。
• 22 个基准的具体清单、任务类型分布与统计显著性检验：待核实。
• GPT-6 Luna/Codex/Visual Sketchpad 对比中的评测配置细节（是否同提示、同预算口径）：待核实。
• 提升是否在各类任务上均衡、是否存在特定基准驱动的偏差：待核实。

可用于图书/PPT/简报的角度

• “加预算不如加证据”：以受控研究引出推理预算边际收益有限的论点。
• 工具调用的三层架构图：能力层（接口+渲染）/ 持久多模态记忆（可寻址工件）/ 编码接口（组合计算）。
• 成本-效果象限图：中等推理投入 + harness vs 最高推理投入的基线/Codex/Visual Sketchpad（7.7–8.5 分差距、≤37% token 成本）。
• 与“视觉工具使用的幻觉”卡片对照：从“工具是否因果有效”转向“如何让工具输出成为可复用证据”。

与既有脉络的关系

• 增量在于：把讨论从单一视觉工具（裁剪/缩放）或单模态工具（音视频缩放）推进到“异构工具 + 证据渲染 + 持久多模态记忆 + 代码组合”的系统层，并提供跨 8 个基座、22 个基准的量化对比与 token 成本数据。

原始材料

• 标题：OpenVLHarness: Real World Visual Agentic Tool-Use with Multimodal Memory
• 作者：Yu Zhou, Cheng-Fu Yang, Rui Sun, Di Wu, Sibo Peng, Mingyang Zhang, Zhen Yang, Ruiyi Zhang, Nanyun Peng, Zhe Gan, Kai-Wei Chang
• arXiv ID: 2610.26860v1（Published/Updated: 2026-10-19T17:59:58Z）
• 分类：cs.CL（主）, cs.AI, cs.CV, cs.LG, cs.MM
• Abstract URL: https://arxiv.org/abs/2610.26860v1
• PDF URL: https://arxiv.org/pdf/2610.26860v1
• 关键词：multimodal large language models; visual agentic tool-use; multimodal memory; evidence rendering; coding interface; inference budget