知识卡片：超越试错：用于图像到视频一致性的智能体优化

• 一句话结论：本文提出“Agentic Self-Improvement”框架，将图像到视频（I2V）生成从盲目的反复试错重构为闭环、目标驱动的两阶段优化，在人类偏好评测中最高取得69%的胜率。

• 事件概述或研究问题：现代黑盒图像到视频（I2V）模型虽能自动生成视频，但缺乏细粒度控制和可靠性。由于随机性，文本提示或超参数的微小变化可能导致输出剧烈波动，专业工作流中常被迫采用低效的暴力试错。论文针对这一问题，提出一种系统性的智能体优化方法。

• 方法/产品要点：

  • 框架名称：Agentic Self-Improvement，将视频合成视为闭环、目标导向的优化过程。
  • 第一阶段：迭代提示优化。使用多模态大语言模型（mLLM）细化输入提示，并引入两种自动化评估：
    • Davidsonian Scene Graph（DSG）查询：确保语义一致性。
    • Common Mistake Questions（CMQ）：检测常见伪影。
  • 第二阶段：贝叶斯优化。联合优化随机种子和CFG scale，由一组质量指标引导搜索。
  • 新增指标：Video-Text Adherence（VTA）分数，由DSG和CMQ评估推导而来，用于衡量视频与文本的贴合度。

• 主要结果或产业意义：相比无引导的搜索方法，该框架显著更优。在人类偏好研究中，由智能体方法生成的视频相对于基线输出的胜率最高可达69%。该方法为增强现有视频生成模型的可预测性和可控性提供了实用且可扩展的路径，推动相关技术从“探索性演示”走向“可投入生产的工具”。

• 为什么重要：已有相关工作分别涉及“测试时迭代优化用于图像生成”“智能体轨迹优化”和“视频生成蒸馏”，但本条针对的是黑盒I2V模型中“文本-视频一致性”问题，将提示优化与贝叶斯超参搜索结合，形成闭环优化。增量信息在于：它不依赖可微模型内部结构，而是通过mLLM+DSG/CMQ评估和贝叶斯优化直接作用于生成参数空间，为随机性强的视频生成提供了一种可复用的通用范式。

• 局限与不确定性：

  • 摘要未说明具体使用的黑盒I2V模型名称、数据集规模及评测视频数量（待核实）。
  • 未报告不同基线的设定细节（待核实）。
  • 未说明贝叶斯优化的成本、迭代次数和计算开销（待核实）。
  • 未披露VTA分数相对人类偏好的具体相关性指标（待核实）。

• 可用于图书/PPT/简报的角度：

  • 用“智能体+贝叶斯优化”解决生成式AI“随机失控”问题。
  • 案例：如何让一句提示词稳定生成符合预期的短视频。
  • 亮点：DSG/CMQ双重检查 + VTA评分，把“质量”变成可优化目标。
  • 图示可画两阶段闭环：提示优化→生成→评估→参数搜索→再生成。

• 与既有脉络的关系：本卡片是既有“测试时迭代优化”“智能体优化”脉络的延伸，但聚焦于图像到视频（I2V）任务中的黑盒随机性问题，并在同一框架中结合了提示级优化和采样参数级优化。

• 原始材料：

  • 英文标题：Beyond Trial-and-Error: Agentic Optimization for Image-to-Video Adherence
  • 英文关键词：Image-to-Video; Agentic Optimization; Prompt Optimization; Bayesian Optimization; Video-Text Adherence
  • 来源：arXiv:2608.12290v1
  • URL: https://arxiv.org/abs/2608.12290v1
  • 作者：Aman Tyagi, Hemanth Boinpally, Jonathan Chen, Douglas Gebert, Steven Hickson
  • 提交/更新日期：2026-08-12
  • 类别：cs.CV, cs.AI, cs.MM