AI消息速览

OneSearch-VL——面向图像与视频的统一多模态深度研究智能体

事件日期 2026-10-08 · 学术前沿 · 已接受

事件日期2026-10-08
信息日期2026-10-08
入库日期2026-10-10
通道学术前沿
状态已接受
来源arXiv 论文

知识卡片:OneSearch-VL——面向图像与视频的统一多模态深度研究智能体

一句话结论

OneSearch-VL 提出以“视觉锚定证据图(VGEG)”为核心统一单图、多图与视频深度研究,将视觉定位、外部检索与事实组合的依赖关系显式建模,并用于数据构造、过程监督与操作级评测,其 8B 模型在两个新建基准上较带工具访问的 Qwen3-VL-8B 分别提升 20.2 与 17.6 个百分点。

事件概述或研究问题

  • 单图、多图与视频的深度研究需要不同的视觉操作,但共享“视觉定位 → 外部检索 → 事实组合”的工作流。
  • 核心挑战:如何保留“局部视觉锚点、实体关系、来源支撑事实、产答操作”之间相互依赖的链条。
  • 论文提出的解决方案是一个以 Visually Grounded Evidence Graph (VGEG) 为中心的统一智能体 OneSearch-VL。

方法/产品要点

  • 核心表示 VGEG:将上述依赖编码为任务级共享参照,同时服务于数据构造、过程监督与操作级评测三方面。
  • 数据引擎:基于 VGEG 构造并验证多图与视频问题,并对专家轨迹进行筛选。
  • 训练数据:组装 OneSearch-VL-SFT-110K(SFT)与 OneSearch-VL-RL-10K(RL)。
  • 奖励设计:从 VGEG 标注中导出 Evidence-aware Visual-Grounded Rubric reward (EVGR),在 RL 阶段监督证据可追溯性与视觉定位。
  • 评测基准:构建 OneSearch-MI-Bench 与 OneSearch-Video-Bench,按问题 VGEG 中编码的研究操作进行组织。

主要结果或产业意义

  • OneSearch-VL-8B 相比带工具访问的 Qwen3-VL-8B:
    • OneSearch-MI-Bench 提升 20.2 个百分点;
    • OneSearch-Video-Bench 提升 17.6 个百分点。
  • 在 7 个图像基准与 VideoDR 上也取得显著提升。
  • 给出了项目仓库:https://github.com/appletea233/OneSearch-VL

为什么重要

  • 将“证据依赖链”显式建模为图结构,可能比端到端奖励更利于多模态深度研究中的可追溯性与过程监督。
  • 统一框架覆盖单图/多图/视频三类任务,减少了按模态分别设计智能体的重复工作。
  • 与既有 WebSwarm(递归多智能体编排的深度搜索)等脉络相关,但侧重多模态视觉锚定与证据图而非纯文本搜索编排,属于该方向在多模态维度的延续与更新。

局限与不确定性

  • 摘要未给出具体消融实验细节,VGEG 各组成部分的贡献待核实。
  • 训练数据规模(110K/10K)与质量筛选标准的具体细节待核实。
  • 两个新基准的题目规模、标注一致性、与人类评测的相关性待核实。
  • 项目仓库的代码与数据开放程度、可复现性待核实。
  • arXiv ID 为 2610.12419v1、发布日期为 2026-10-08,具体版本与后续更新情况待核实。

可用于图书/PPT/简报的角度

  • “证据图作为多模态深度研究的共享任务表示”这一设计范式。
  • 从数据构造、过程监督到操作级评测的统一框架如何减少模态间重复工程。
  • 与纯文本搜索智能体(如 WebSwarm)的对比:多模态视觉锚定带来的新挑战。
  • 奖励设计(EVGR)在 RL 中如何约束证据可追溯性。
  • 用“提升 20.2/17.6 个百分点”作为多模态深度研究进展的量化锚点。

与既有脉络的关系

  • 与“WebSwarm:基于递归多智能体编排的深度与广度网络搜索”相比,本条将深度研究从文本搜索扩展到多模态视觉锚定场景,并强调证据依赖的显式图表示。
  • 与“知识引导的多模态推理用于视频级别的矛盾与犹豫识别”相比,本条不聚焦特定视频行为识别,而是面向可验证的多模态深度研究流程与评测基准,属于不同任务面向的补充。

原始材料

  • 标题:OneSearch-VL: Unified Multimodal Deep Research Agent for Image and Video
  • arXiv ID:2610.12419v1
  • 分类:cs.CV
  • 作者:Hongyu Li, Manyuan Zhang, Kaituo Feng, Shu Chen, Dian Zheng, Hao Li, Hao Yu, Zhangquan Chen, Zoey Guo, Ray Zhang, Shaofei Huang, Tianrui Hui, Linjiang Huang, Si Liu
  • 发布日期:2026-10-08T17:52:46Z
  • Abstract URL:https://arxiv.org/abs/2610.12419v1
  • PDF URL:https://arxiv.org/pdf/2610.12419v1
  • 项目仓库:https://github.com/appletea233/OneSearch-VL
  • 关键词:Multimodal Deep Research, Visually Grounded Evidence Graph, VGEG, EVGR, SFT, RL, OneSearch-MI-Bench, OneSearch-Video-Bench, VideoDR

发现内容有误?

免登录提交,管理员审核并完成修正后才会公开修订说明。

值得关注

将“证据依赖链”显式建模为图结构,可能比端到端奖励更利于多模态深度研究中的可追溯性与过程监督。 统一框架覆盖单图/多图/视频三类任务,减少了按模态分别设计智能体的重复工作。 与既有 WebSwarm(递归多智能体编排的深度搜索)等脉络相关,但侧重多模态视觉锚定与证据图而非纯文本搜索编排,属于该方向在多模态维度的延续与更新。

相关主题

对应的教材知识点

根据卡片内容自动匹配,点击查看已审核的教材讲解: