知识卡片：OmniCompass——面向全模态视频定位与理解的综合基准

一句话结论

OmniCompass 是一个同时覆盖视觉-语言与音频-视觉两条评测轨道、并联合考察时间定位、空间定位与问答能力的全模态视频理解基准；据其摘要，当前开源模型在多模态视频理解上仍落后于闭源模型，音频-视觉理解与精确时空定位尤其困难。待核实：以上均基于摘要，正文未抓取。

事件概述或研究问题

• 研究问题：现有多模态大语言模型（MLLMs）的视频理解评测基准只覆盖部分评测维度，难以对全模态视频理解进行系统性诊断。
• 提出工作：OmniCompass，一个面向全模态视频定位与理解的综合基准（holistic benchmark）。
• 待核实：论文正文的动机论证细节、作者机构、发布时间与实验配置。

方法/产品要点

• 两条评测轨道：
  • OmniCompass-VL：面向视觉-语言模型，任务需要视觉证据。
  • OmniCompass-AV：面向全模态模型，任务需要音频-视觉联合证据。
• 每条轨道含三类互补任务：时间定位（TG）、空间定位（SG）、问答（QA），分别考察被指目标“何时出现”“在哪里”“发生了什么”。
• QA 类别划分：OmniCompass-VL 覆盖 5 类感知与 3 类推理；OmniCompass-AV 覆盖 3 类感知与 2 类推理。
• 数据规模：
  • OmniCompass-VL：820 个视频、2460 条实例，跨多个领域与短视频/中长视频/长视频三种时长类型。
  • OmniCompass-AV：由叙事与音频丰富的子集构成，240 个视频、720 条实例。
• 评测设置：每条实例在两种配对设置下评测——纯文本（text-only）与文本+图像（text+image），即通过文本与视觉-语言引导指向同一目标。
• 标注方式：全部实例人工标注，并经多轮质量校验。
• 待核实：任务定义细节、视频来源与许可、标注规范、评测指标与提示模板。

主要结果或产业意义

• 对 50 个 MLLM 的评测显示：
  • 开源模型仍落后于闭源对手，在音频-视觉理解上尤为明显。
  • 精确的时间定位与空间定位即使对领先模型也仍具挑战。
  • 模型预测在配对的目标指定方式（纯文本 vs 文本+图像）之间仍存在不一致。
• 待核实：具体模型榜单、分数、各任务差距幅度与统计显著性。

为什么重要

• 评测维度上，OmniCompass 把“何时/何处/什么”三类问题与“视觉-语言/音频-视觉”两条轨道交叉，指向对全模态视频理解的系统性诊断，而非单一任务打分。
• 配对评测设置（同一目标的纯文本 vs 文本+图像指定）提供了一种考察模型对目标指称一致性的视角，有助于区分“理解失败”与“指称方式敏感”。
• 与既有卡片的关系：本卡片关注理解与定位评测，不同于 OmniVBench 关注的 omni 参考到视频生成评测；也与 EgoPolice 聚焦高风险自我中心场景、RNADyn 聚焦 RNA 动力学的领域专精基准形成对照——OmniCompass 的增量在于把音频-视觉联合证据与时空定位纳入同一基准框架。待核实：与上述基准在任务或数据上是否存在重叠。

局限与不确定性

• 正文未能抓取，本卡片全部内容仅来自元数据与摘要，未经验证。
• 待核实：基准是否覆盖多语言、是否存在数据泄漏控制、是否含人类基线、是否公布排行榜与评测代码。
• 待核实：摘要未说明 50 个 MLLM 的具体构成，也未给出各任务的可复现实验细节。
• 待核实：OmniCompass-AV 子集“叙事与音频丰富”的具体筛选标准。

可用于图书/PPT/简报的角度

• “评测从单模态走向全模态”：以两条轨道 × 三类任务的结构说明视频理解评测的维度扩展。
• “同一目标、两种指称”：用配对设置讨论模型对文本与视觉提示的一致性问题。
• “开源 vs 闭源在音频-视觉上的差距”：作为多模态能力落差的例证（需先核实具体数据）。
• “定位仍是难点”：把时间与空间定位作为当前视频模型的能力瓶颈来呈现。
• 基准设计对照：与 OmniVBench（生成）、EgoPolice（自我中心高风险）、RNADyn（科学动力学）并置，讨论“通用综合基准”与“领域专精基准”的分工。

原始材料

• 标题：OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding
• 来源：arXiv
• URL：https://arxiv.org/abs/2610.18829v1
• Track：academic
• Topics：foundation-model
• 关键词（原始）：OmniCompass; omni-modal video grounding; video understanding benchmark; multimodal large language models; temporal grounding; spatial grounding; question answering; audio-visual understanding
• 说明：正文抓取失败，以上信息基于已知元数据与摘要，标注为待核实处需以原文为准。