知识卡片：VideoGen-Agent：用强化学习训练视频生成智能体

一句话结论

VideoGen-Agent 通过多任务智能体强化学习，让多模态智能体协调增强、生成与验证工具，在 VABench 上把基础文生视频生成器从 56.5 提升到 75.6；升级生成工具后进一步达到 86.1，且无需额外智能体训练。

事件概述或研究问题

论文关注的问题是：现有视频生成模型虽能生成高保真、时序连贯的视频，但面对需要专业知识、特定身份、物理一致性或有序事件的提示时，往往仍难以满足要求。

为此，作者提出 VideoGen-Agent：一个通过多任务智能体强化学习训练的多模态智能体，使用外部工具完成视频生成。它通过多轮交互协调增强、生成与验证工具，并利用提示和中间观察来指导决策。

方法/产品要点

智能体类型：多模态智能体，使用外部工具进行视频生成。
工具类别：增强工具、生成工具、验证工具。
交互方式：多轮交互，依据提示和中间观察决定下一步工具调用。
训练数据：类别平衡数据集，覆盖六项任务；摘要未列出六项任务具体名称，待核实。
训练流程：先在教师生成轨迹上进行监督微调，建立工具使用行为；再用强化学习进行精炼。
奖励设计：类别感知混合奖励，评估工具调用有效性、任务适配的工具使用、生成视频质量。
基准：提出 VABench，包含 600 条 held-out 提示，覆盖程序性知识、单实体与多实体身份保持、物理一致性、场景构图、多镜头时间结构。

主要结果或产业意义

在 VABench 上，VideoGen-Agent 相对其基础文生视频生成器提升 19.1 分，从 56.5 到 75.6。
升级生成工具后，分数提升到 86.1，且不需要额外训练智能体。
人类评估者相比最强的独立基线，在 84.3% 的比较中更偏好升级后的配置。
论文称，这些结果支持跨视频生成任务学习工具使用，并表明训练后的智能体可以受益于后续生成工具的进步。

为什么重要

视频生成中的专业知识、身份保持、物理一致性和有序事件等需求，往往难以由单一端到端生成模型全部解决。VideoGen-Agent 的思路是把部分难点交给可调用的外部工具，并通过多轮智能体决策来编排增强、生成和验证流程。

如果该结果可复现，其重要性在于：智能体训练可能把“生成能力”与“工具能力”部分解耦，使系统在生成工具升级后继续获益，而不必重新训练智能体。这为视频生成系统从单模型能力竞争转向“模型 + 工具链 + 智能体策略”的工程化组合提供了参考。不过，产业落地效果、成本与泛化性仍待核实。

与既有脉络的关系

已有卡片 Video-DeepResearch 同属视频/多模态智能体方向，但其重点是视频流深度研究问答；本条 VideoGen-Agent 的重点是视频生成中的工具协调与智能体强化学习。若放在同一脉络中，本条的增量信息是：把智能体训练从“理解/研究视频”扩展到“生成视频”，并引入 VABench 与“生成工具升级后无需重训智能体”的观察。

与“几何互易定理”卡片无直接同一事实重叠：后者关注立体视频生成的自监督学习，本条关注多任务工具使用与强化学习策略。

局限与不确定性

本卡片仅依据摘要和 arXiv 元数据整理，未阅读全文。
具体工具名称、基础文生视频生成器型号、最强 standalone baseline、六项任务定义、VABench 构建与评分协议、人类评估设计、统计显著性与误差范围均待核实。
强化学习算法、超参数、训练数据规模、计算成本、是否开源、许可证与复现条件均待核实。
“升级生成工具后达到 86.1”依赖所升级工具的具体能力与兼容性，跨工具、跨基准的泛化性待核实。
摘要报告的是论文自设基准上的结果，真实生产场景和长视频生成中的表现待核实。

可用于图书/PPT/简报的角度

从端到端视频生成，走向“多轮工具调用 + 智能体编排”的视频生成范式。
增强、生成、验证三类工具如何被一个共享策略统一协调。
SFT 建立工具使用行为，再用强化学习精炼：一种可复用的智能体训练流程。
类别感知混合奖励：同时约束工具调用有效性、工具选择合理性与生成质量。
VABench 所覆盖的视频生成难点：程序性知识、身份保持、物理一致性、场景构图、多镜头时间结构。
工具升级可带来系统分数提升，且无需额外智能体训练：讨论模型迭代与工具链解耦。
与 Video-DeepResearch 对照：视频理解/研究智能体 vs 视频生成智能体。

原始材料

英文标题：VideoGen-Agent: Reinforcing Video Generation Agents
英文关键词（原文未列关键词；以下为据摘要归纳）：video generation; multimodal agent; agentic reinforcement learning; tool use; VABench; text-to-video; identity preservation; physical consistency; multi-shot temporal structure
arXiv ID：2609.24997v1
作者：Binxu Li, Haoyi Duan, Yuhui Zhang, Yaohui Zhang, Zihao Lin, Kaituo Feng, Suozhi Huang, Xiangyi Li, Yu Li, Chunyuan Li, Shilong Liu, Mengdi Wang
发布/更新：2026-09-21T17:58:56Z（两者相同）
分类：cs.CV
Abstract URL：https://arxiv.org/abs/2609.24997v1
PDF URL：https://arxiv.org/pdf/2609.24997v1