知识卡片:OneSearch-VL——面向图像与视频的统一多模态深度研究智能体
一句话结论
OneSearch-VL 提出以“视觉锚定证据图(VGEG)”为核心统一单图、多图与视频深度研究,将视觉定位、外部检索与事实组合的依赖关系显式建模,并用于数据构造、过程监督与操作级评测,其 8B 模型在两个新建基准上较带工具访问的 Qwen3-VL-8B 分别提升 20.2 与 17.6 个百分点。
事件概述或研究问题
- 单图、多图与视频的深度研究需要不同的视觉操作,但共享“视觉定位 → 外部检索 → 事实组合”的工作流。
- 核心挑战:如何保留“局部视觉锚点、实体关系、来源支撑事实、产答操作”之间相互依赖的链条。
- 论文提出的解决方案是一个以 Visually Grounded Evidence Graph (VGEG) 为中心的统一智能体 OneSearch-VL。
方法/产品要点
- 核心表示 VGEG:将上述依赖编码为任务级共享参照,同时服务于数据构造、过程监督与操作级评测三方面。
- 数据引擎:基于 VGEG 构造并验证多图与视频问题,并对专家轨迹进行筛选。
- 训练数据:组装 OneSearch-VL-SFT-110K(SFT)与 OneSearch-VL-RL-10K(RL)。
- 奖励设计:从 VGEG 标注中导出 Evidence-aware Visual-Grounded Rubric reward (EVGR),在 RL 阶段监督证据可追溯性与视觉定位。
- 评测基准:构建 OneSearch-MI-Bench 与 OneSearch-Video-Bench,按问题 VGEG 中编码的研究操作进行组织。
主要结果或产业意义
- OneSearch-VL-8B 相比带工具访问的 Qwen3-VL-8B:
- OneSearch-MI-Bench 提升 20.2 个百分点;
- OneSearch-Video-Bench 提升 17.6 个百分点。
- 在 7 个图像基准与 VideoDR 上也取得显著提升。
- 给出了项目仓库:https://github.com/appletea233/OneSearch-VL
为什么重要
- 将“证据依赖链”显式建模为图结构,可能比端到端奖励更利于多模态深度研究中的可追溯性与过程监督。
- 统一框架覆盖单图/多图/视频三类任务,减少了按模态分别设计智能体的重复工作。
- 与既有 WebSwarm(递归多智能体编排的深度搜索)等脉络相关,但侧重多模态视觉锚定与证据图而非纯文本搜索编排,属于该方向在多模态维度的延续与更新。
局限与不确定性
- 摘要未给出具体消融实验细节,VGEG 各组成部分的贡献待核实。
- 训练数据规模(110K/10K)与质量筛选标准的具体细节待核实。
- 两个新基准的题目规模、标注一致性、与人类评测的相关性待核实。
- 项目仓库的代码与数据开放程度、可复现性待核实。
- arXiv ID 为 2610.12419v1、发布日期为 2026-10-08,具体版本与后续更新情况待核实。
可用于图书/PPT/简报的角度
- “证据图作为多模态深度研究的共享任务表示”这一设计范式。
- 从数据构造、过程监督到操作级评测的统一框架如何减少模态间重复工程。
- 与纯文本搜索智能体(如 WebSwarm)的对比:多模态视觉锚定带来的新挑战。
- 奖励设计(EVGR)在 RL 中如何约束证据可追溯性。
- 用“提升 20.2/17.6 个百分点”作为多模态深度研究进展的量化锚点。
与既有脉络的关系
- 与“WebSwarm:基于递归多智能体编排的深度与广度网络搜索”相比,本条将深度研究从文本搜索扩展到多模态视觉锚定场景,并强调证据依赖的显式图表示。
- 与“知识引导的多模态推理用于视频级别的矛盾与犹豫识别”相比,本条不聚焦特定视频行为识别,而是面向可验证的多模态深度研究流程与评测基准,属于不同任务面向的补充。
原始材料
- 标题:OneSearch-VL: Unified Multimodal Deep Research Agent for Image and Video
- arXiv ID:2610.12419v1
- 分类:cs.CV
- 作者:Hongyu Li, Manyuan Zhang, Kaituo Feng, Shu Chen, Dian Zheng, Hao Li, Hao Yu, Zhangquan Chen, Zoey Guo, Ray Zhang, Shaofei Huang, Tianrui Hui, Linjiang Huang, Si Liu
- 发布日期:2026-10-08T17:52:46Z
- Abstract URL:https://arxiv.org/abs/2610.12419v1
- PDF URL:https://arxiv.org/pdf/2610.12419v1
- 项目仓库:https://github.com/appletea233/OneSearch-VL
- 关键词:Multimodal Deep Research, Visually Grounded Evidence Graph, VGEG, EVGR, SFT, RL, OneSearch-MI-Bench, OneSearch-Video-Bench, VideoDR
发现内容有误?
免登录提交,管理员审核并完成修正后才会公开修订说明。
值得关注
将“证据依赖链”显式建模为图结构,可能比端到端奖励更利于多模态深度研究中的可追溯性与过程监督。 统一框架覆盖单图/多图/视频三类任务,减少了按模态分别设计智能体的重复工作。 与既有 WebSwarm(递归多智能体编排的深度搜索)等脉络相关,但侧重多模态视觉锚定与证据图而非纯文本搜索编排,属于该方向在多模态维度的延续与更新。
相关主题
对应的教材知识点
根据卡片内容自动匹配,点击查看已审核的教材讲解: