知识卡片：OmniSeek：面向多轮音视频推理的原生工具集成

一句话结论：OmniSeek 是一个 agentic framework，把 Omni Large Language Model（Omni-LLM）转化为具备 native tool use 的主动式多轮推理智能体；它把“看/听”的证据获取纳入推理过程，并在多项基准上持续提升音视频推理表现。

事件概述或研究问题：传统 Omni-LLM 可能以单次前向传播被动处理整段音视频序列。OmniSeek 关注的问题是：在长上下文中，关键音视频证据往往稀疏且跨模态，模型应如何主动决定“看还是听”、以及关注哪个时间窗口，从而检索关键证据并继续推理。

方法/产品要点：

• 原生工具集成：将 Omni-LLM 变为主动、多轮、可使用工具的推理智能体。
• 跨模态证据获取：动态决定是否查看视觉或听取音频，以及选择哪个时间窗口，在长上下文中检索稀疏但关键的跨模态证据。
• 迭代多轮协议：检索到的原始音频或视觉片段会被追加回上下文，支持后续推理。
• 冷启动数据引擎：构建数据引擎合成 OmniTraj-170K，其中包含多跳 Chain-of-Thought 轨迹，并交错音频与视觉证据。
• 训练流程：先在这些轨迹上监督模型，以灌输多轮工具使用行为；再用两阶段强化学习与可验证奖励优化策略。
• Audio-Visual Necessity 目标：显式奖励那些成功且推理依赖双模态的轨迹，抑制单模态捷径。

主要结果或产业意义：摘要称，广泛基准实验表明 OmniSeek 学会自适应跨模态证据寻求，并持续提升音视频推理性能。潜在产业意义在于为长音视频理解、多模态智能体、可验证工具调用训练提供参考。具体基准名称、指标、提升幅度和对比细节待核实。

为什么重要：它把多模态推理从“被动一次性理解”推向“主动多轮取证”，并针对音视频任务中常见的单模态捷径引入显式训练目标。在已有工具集成推理（TIR）与多工具视觉推理脉络中，本条的增量在于：将 native tool use 放到 Omni-LLM 的音视频多轮推理中，并用 Audio-Visual Necessity 目标对抗单模态捷径；不是简单重复回合级自蒸馏或遥感多工具路线的陈述。

局限与不确定性：

• 摘要未给出具体实验基准、基线、指标和提升幅度，待核实。
• 未说明模型规模、工具接口、时间窗口粒度、训练与推理成本，待核实。
• OmniTraj-170K 的合成方式、质量控制、数据偏差和覆盖范围未展开，待核实。
• 两阶段强化学习的具体奖励设计、可验证奖励来源和消融结果未展开，待核实。
• 作者机构、论文接收状态、代码/数据/模型是否开源，待核实。
• 目前仅基于 arXiv 摘要与元数据，正文细节未获取，待核实。

可用于图书/PPT/简报的角度：

• 从“被动多模态理解”到“主动跨模态证据寻求”的范式变化。
• 原生工具集成与多轮音频-视觉推理如何结合。
• 冷启动数据引擎 + 可验证奖励强化学习作为训练配方。
• 用 Audio-Visual Necessity 目标抑制单模态捷径。
• 长音视频场景中的潜在应用：会议理解、教育、影视检索、无障碍、多模态助手等；具体适用性待核实。

原始材料：

• 英文标题：OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning
• 英文关键词：OmniSeek; native tool use; multi-turn audio-visual reasoning; Omni-LLM; OmniTraj-170K; two-stage reinforcement learning with verifiable rewards; Audio-Visual Necessity objective
• arXiv ID：2610.02181v1
• 作者：Haibo Wang, Jiteng Mu, Jialu Li, Jingru Yi, Yuanjun Xiong, Jianming Zhang, Lifu Huang, Mingze Xu
• Published / Updated：2026-10-01T17:58:16Z / 2026-10-01T17:58:16Z
• Primary category：cs.CV
• Categories：cs.CV
• Abstract URL：https://arxiv.org/abs/2610.02181v1
• PDF URL：https://arxiv.org/pdf/2610.02181v1
• 说明：以上内容来自 arXiv 摘要与元数据；未获取正文，无法确认之处已标注“待核实”。