知识卡片：OmniCapBench：细粒度音视频描述的结构化评估框架

一句话结论

OmniCapBench 将音视频描述评估从“整段文本打分”重构为“原子化可验证单元的深度结构化诊断”，旨在同时解决覆盖度与可定位性难以兼顾、以及 LLM 评委不稳定的问题，并揭示前沿 MLLM 在长程音视频推理（尤其是身份漂移与跨模态错位）上的明显短板。

事件概述或研究问题

多模态大语言模型（MLLMs）正快速走向连续的音视频推理，因此需要能暴露其能力边界的评估方法。音视频描述（audio–visual captioning）是理想的诊断任务，但现有基准存在一组耦合的权衡：

• 整段描述打分：有覆盖度但缺少定位；
• 局部探测：有定位但缺少覆盖度；
• 无约束的 LLM 评委：引入不稳定性。

OmniCapBench 试图把音视频描述评估重新定义为一个深度结构化诊断框架。

方法/产品要点

• 预测目标发生转变：从自由形式文本，转为跨三条轨道（three tracks）的原子化、可验证评估单元集合：
  • 实体引用（entity references）
  • 视觉镜头（visual shots）
  • 音频事件（audio events）
• 评分方式：结合确定性的约束检查（deterministic constraint checks）与局部化的 LLM 语义比较（localized LLM-based semantic comparisons），以提升可靠性。
• 数据规模：786 个密集标注视频（786 densely annotated videos）。
• 定位方式：名称中 OmniCapBench 亦写作 Omni-Video Caption Benchmark（来自摘要括注）。

主要结果或产业意义

• OmniCapBench 能区分多种 MLLM 感知错误，包括：
  • 时间定位失败（temporal grounding failures）
  • 身份漂移（identity drift）
  • 跨模态错位（cross-modal misalignment）
  • 幻觉描述（hallucinated descriptions）
• 对前沿 MLLM 的评估显示：局部感知较强，但长程音视频推理较弱，尤其在身份漂移与跨模态错位方面。
• 这为全模态（omnimodal）发展提供了细粒度的路线图（fine-grained roadmap）。

为什么重要

• 把“描述质量”拆成可验证的原子单元，使评估同时具备覆盖度与可定位性，并降低对不稳定 LLM 评委的依赖。
• 对全模态模型研发具有诊断价值：能指出错误类型（时间、身份、跨模态、幻觉），而不仅是给出一个笼统分数。
• 与既有卡片的关系：本卡片关注音视频描述的结构化诊断基准；与“PIPBench（个性化图像生成评估）”同属“为特定能力设计评估框架”的脉络，但对象是音视频描述而非图像生成；与“MM-ToolSandBox（视觉工具调用代理评估）”同属代理/多模态评估，但任务与指标不同。本条增量在于：提出三条轨道的原子化评估单元，并报告长程音视频推理中身份漂移与跨模态错位的弱项。

局限与不确定性

• 论文仅提供摘要级信息，以下内容待核实：
  • 三条轨道各自的具体指标定义与计算细节；
  • 786 个视频的领域分布、时长分布与标注规范；
  • “deterministic constraint checks”和“localized LLM-based semantic comparisons”的具体实现与消融结果；
  • 所评估的“frontier MLLMs”具体名单与数值结果；
  • 与既有音视频描述基准的定量对比。
• 作者列表、发布时间（2026-10-08）与 arXiv ID（2610.12458v1）来自来源材料；其准确性待核实。

可用于图书/PPT/简报的角度

• “从整段打分到原子单元”：评估范式的结构化转向。
• “覆盖度 vs 可定位性”的权衡，以及如何用三条轨道同时满足两者。
• 用错误类型学（时间定位失败、身份漂移、跨模态错位、幻觉）解释 MLLM 的能力边界。
• 长程音视频推理为何比局部感知更难：以身份漂移与跨模态错位为例。
• 评估框架作为研发路线图：诊断结果如何指导全模态模型迭代。

与既有脉络的关系

• 延续“为特定能力设计专门评估框架”的脉络（如 PIPBench 面向个性化图像生成、MM-ToolSandBox 面向视觉工具调用代理）。
• 本条增量：将评估对象扩展到音视频描述，并以原子化、可验证单元与三条轨道实现细粒度诊断；同时给出前沿 MLLM 在长程音视频推理上的弱项信号（身份漂移、跨模态错位）。

原始材料

• 标题：OmniCapBench: A Deep-Structured Evaluation Framework for Fine-Grained Audio-Visual Captioning
• arXiv ID：2610.12458v1
• 作者：Zhongyu Yang, Jiale Tao, Ruitao Chen, Zuhao Yang, Yingfang Yuan, Xueliang Zhao, Auden, Kai Wang, Shuai Shao, Biao Wang, Steve Yves, Qinglin Lu
• 发布时间：2026-10-08T17:59:21Z
• 更新：2026-10-08T17:59:21Z
• 主分类：cs.CV
• 分类：cs.CV
• Abstract URL：https://arxiv.org/abs/2610.12458v1
• PDF URL：https://arxiv.org/pdf/2610.12458v1