知识卡片：VibeVideoBench——评估多模态智能体的代码驱动视频生成能力

一句话结论

VibeVideoBench 是一个面向“代码驱动视频生成”的多模态智能体评测基准，包含 239 个中英文自包含任务，覆盖 12 个类别，要求智能体在沙箱内于一小时内交付带声音的成片 MP4；从元数据看，该基准远未被解决，最佳系统仍在约四分之一任务上失败核心要求（正文未抓取，细节待核实）。

事件概述或研究问题

• 针对的问题：扩散式视频模型能生成观感出众的片段，但难以可靠渲染精确公式、正确图表、规则一致的游戏，或与画面事件同步的旁白。
• 提出的替代路线：让多模态智能体通过编写代码来渲染每一帧并合成每一段声音。
• 该工作提出 VibeVideoBench，用于评测智能体在代码驱动视频生成上的表现（arXiv 编号 2610.35864v1，具体发布日期与作者信息待核实）。

方法/产品要点

• 任务规模与语言：239 个自包含任务，中英文双语。
• 类别覆盖：12 个类别，含数据故事、音乐驱动作品、课堂讲解、论文解读等。
• 交付设定：智能体在其原生运行环境中、于沙箱内运行，需在一小时内交付带声音的成品 MP4。
• 评估方式为分层、基于证据：
  • 对交付规格进行程序化检查；
  • 约 1.3 万条任务专属评分细则检查（rubric checks），可追溯到其所对应的具体要求；
  • 五个质量维度，按任务设定锚点，由三个 VLM 评审小组打分，并用盲测人类偏好进行验证。
• 评测规模：9 个前沿智能体系统、共 2,151 次计分 rollout。

主要结果或产业意义

• 基准远未饱和：GPT-6 Astra 与 Claude Opus 5.5 明显领先，但即使最佳系统也在约四分之一任务上未满足某项核心要求。
• “视频是否交付”与质量同等重要：丢失的视频中有四分之三是最终渲染启动过晚、运行过慢或根本未启动。
• 评审一致性：评审之间、以及评审与人类偏好在系统排名上一致，但在单个视频层面仅中度一致。
• 产业意义：提示代码驱动视频生成的关键瓶颈不仅在生成质量，也在长时任务的调度与按时交付能力（以上数字均来自元数据摘要，具体统计口径待核实）。

为什么重要

• 把视频生成评测从“像素观感”推向“可验证的正确性”：公式、图表、规则一致性与音画同步等要求可通过程序与细则检查追溯。
• 强调端到端交付能力（时限、渲染调度、音轨合成），补充了仅关注视觉质量的视频生成基准。
• 与既有脉络的关系：相较 Sci-VBench 聚焦科学知识正确性与因果动态，本基准聚焦“代码驱动 + 成品交付”的智能体能力；相较 Video-DeepResearch 的视频理解/研究能力，本条转向视频产出侧，属增量补充而非重复。

局限与不确定性

• 来源正文未能抓取，本卡片仅基于已知元数据生成。
• 待核实：作者与机构、发布日期、12 个类别的完整清单、评分细则与五个质量维度的具体定义、VLM 评审模型配置、人类偏好实验规模、各系统得分表与置信区间。
• 待核实：“GPT-6 Astra”“Claude Opus 5.5”等系统名称与版本的准确性，以及“约四分之一任务失败核心要求”“四分之三丢失视频”的统计定义。
• 待核实：任务是否全部为中文或英文单语、是否允许外部工具与网络访问、沙箱资源限制。

可用于图书/PPT/简报的角度

• 从“生成片段”到“交付成片”：视频生成评测的交付导向转向。
• 代码即渲染管线：智能体以编程方式控制每一帧与每一段音轨。
• 评测设计：程序检查 + 可追溯细则 + 多维 VLM 评审 + 人类偏好验证的分层证据链。
• 失败解剖：长时任务的启动时机与渲染调度，可能比模型能力更决定成败。
• 双语任务集（中英文）在视频生成评测中的设计考量。

原始材料

• 标题：VibeVideoBench: Evaluating Multimodal Agents on Code-Driven Video Generation
• 来源：arXiv，https://arxiv.org/abs/2610.35864v1
• 英文关键词（据标题与摘要）：multimodal agents；code-driven video generation；benchmark；rubric-based evaluation；VLM judges；human preferences；sandbox；MP4 delivery
• 备注：正文抓取失败，以上事实以元数据摘要为限，标注“待核实”处需回原文确认。