知识卡片：AVC-Reward：以事件为中心的视听一致性评估

一句话结论

AVC-Reward 提出一种“以事件为中心”的视听一致性评估框架与可训练奖励模型，将音视频拆解到事件层级并做跨模态交叉验证，输出从全局叙事到细粒度属性的三级一致性指标，据称在自动方法中与人类判断对齐达到 SOTA，并可作在线强化学习信号提升联合生成模型的视听一致性。

事件概述或研究问题

随着音视频联合生成模型能力增强，生成场景呈现三类复杂性：多事件组合（multi-event composition）、多层音频混合（multi-layer audio mixture）、非对称跨模态关系（asymmetric cross-modal relations）。现有评估多沿用早期简单、单向任务的指标，通常把整段音视频当作一个整体来打分，并依赖简单的预定义关系，因而难以适配上述复杂场景。本文要解决的问题是：如何针对复杂音视频场景，给出更通用、可解释、且与人类感知一致的一致性评估。

方法/产品要点

• 评估框架：以事件为中心，在事件层级把音频事件与视觉事件解耦（disentangle），对每个事件独立分析，并跨模态交叉验证关系，再将判断聚合为“由粗到细”的三级一致性指标。
• 三级指标：全局叙事和谐（global narrative harmony）、事件级时间同步（event-level temporal synchronization）、细粒度属性对齐（fine-grained attribute alignment）。
• 模型实例：将上述指标实例化为 AVC-Reward，一个可训练的音频-视频奖励模型。
• 基准构建：构建 AVC-Benchmark，主要由多种类型音视频生成模型产生的多样化正、负样本构成，用于评估自动判断与人类感知在不同生成范式和关系复杂度下的一致性。
• 项目页面：https://tsuki0512.github.io/AVC-Reward.github.io/

主要结果或产业意义

• 在自动方法中，AVC-Reward 与人类判断的对齐达到 SOTA（据摘要表述）。
• 提供可解释的理由（interpretable rationales），能定位失败所在。
• 作为在线强化学习信号使用时，可提升联合生成模型的视听一致性。
• 产业意义：为音视频联合生成提供更贴近复杂场景的自动评估与可训练奖励信号，可用于生成模型的后训练/在线优化与失败诊断。

为什么重要

现有评估指标“整段打分 + 简单预定义关系”的范式，难以覆盖多事件、多层音频与非对称跨模态关系；AVC-Reward 把评估粒度下沉到事件层并做跨模态交叉验证，同时给出可解释的失败定位，这使自动评估不仅能打分，还能作为生成模型优化的奖励信号。相对于只关注单模态或整体一致性的做法，其增量在于面向复杂场景的通用表述与三级一致性度量。

局限与不确定性

• 摘要未给出具体数据集规模、模型架构细节、训练数据来源与量化提升幅度，待核实。
• “SOTA 对齐”的具体对比方法、评价协议与人类评估设置，待核实。
• 作为在线 RL 信号时提升的幅度、适用生成模型类型与训练成本，待核实。
• AVC-Benchmark 的样本构成、正负样本比例与是否覆盖真实拍摄视频，待核实。

可用于图书/PPT/简报的角度

• 从“整段打分”到“事件级评估”：音视频一致性评估的粒度演进。
• 三级一致性指标（全局叙事/事件同步/属性对齐）作为评估框架示意图。
• 评估模型即奖励模型：自动指标如何反哺生成模型的后训练与在线优化。
• 复杂场景三要素：多事件组合、多层音频混合、非对称跨模态关系。
• 可解释评估：定位失败事件与关系，而非只给一个分数。

与既有脉络的关系

本卡片聚焦音视频联合生成中的“评估与奖励建模”问题；与已有卡片中关注视频物理一致性训练方法、深度伪造基准、长视频世界模型误差累积的条目不同，本条增量在于提出事件级、三级粒度的视听一致性度量，并将评估器实例化为可训练的奖励模型用于在线强化学习。

原始材料

• 标题：AVC-Reward: Event-Centric Audio-Video Consistency Evaluation
• 作者：Yuruo Wu, Kaihang Pan, Kai Shen, Jiacheng Li, Shuyuan Tu, Jisheng Dang, Li Tuoyu, Juncheng Li, Siliang Tang
• arXiv ID：2610.22321v1（Primary category: cs.CV；Categories: cs.CV, cs.AI）
• 发布/更新：2026-10-15T17:51:56Z
• Abstract URL: https://arxiv.org/abs/2610.22321v1
• PDF URL: https://arxiv.org/pdf/2610.22321v1
• Project page: https://tsuki0512.github.io/AVC-Reward.github.io/