知识卡片：VideoRAE：通过表示自编码器将冻结的视频基础模型转化为生成友好的潜在表示

一句话结论

VideoRAE 利用冻结的视频基础模型（V-JEPA 2、VideoMAEv2）的多尺度分层特征，通过轻量级 1D 自注意力投影仪压缩为紧凑、可重建且适合生成任务的视频潜在表示，在 UCF-101 类到视频生成任务上取得最先进的 gFVD（AR 40，DiT 93），训练速度比竞争自编码器基线快约 5 倍。

事件概述或研究问题

视频生成模型通常依赖 3D-VAE 学习潜在空间，但传统 3D-VAE 主要针对像素级重建优化，导致其潜在表示捕捉的语义和时空结构有限。与此同时，视频基础模型（VFM）如 V-JEPA 2 和 VideoMAEv2 表现出强大的视频理解能力，但能否将其冻结表示转化为紧凑、可重建且生成友好的视频潜在表示尚未被充分探索。本文提出 VideoRAE 回答这一问题。

方法/产品要点

• 架构：表示自编码器（VideoRAE），使用一个冻结的视频基础编码器提取多尺度分层特征，然后通过轻量级 1D 自注意力投影仪将特征压缩为紧凑潜在表示。
• 潜在类型支持：
  • 连续潜在：用于扩散 transformer（DiT）；
  • 离散 token：用于自回归模型（AR），通过多码本高维量化实现。
• 解码训练：采用局部与全局表示对齐目标，与冻结的 VFM 教师模型进行对齐，在提升语义保持的同时，允许无需 KL 正则化的训练。
• 输出能力：可重建视频并直接作为下游生成器（DiT/AR）的输入条件。

主要结果或产业意义

• UCF-101 类到视频生成：使用 AR 生成器获得 gFVD 40，使用 DiT 生成器获得 gFVD 93，均为当时最优。
• 训练效率：相对于竞争自编码器基线（如 3D-VAE），VideoRAE 收敛速度快约 5 倍。
• 2B 规模文本到视频研究：在一项受控实验中，将 LTX-VAE 替换为 VideoRAE，在可比设置下实现更快收敛。
• 通用性验证：冻结的 VFM 表示被证明可作为多功能且生成友好的视频潜在表示。

为什么重要

• 范式突破：传统 3D-VAE 受限于像素级重建，VideoRAE 首次系统性地展示了冻结的 VFM 表示可直接转化为高效的生成潜在空间，无需微调编码器。
• 加速训练：5 倍的收敛加速对大规模视频生成模型的训练成本有显著降低潜力。
• 与既有脉络的关系：与常规视频生成模型（如基于 3D-VAE 的 LTX 等）相比，VideoRAE 提供了全新的潜在构造思路，且已在同等规模（2B 参数）下验证了优势。

局限与不确定性

• 论文未披露 VideoRAE 在更长视频（如数分钟）生成或复杂动作场景下的表现；对长视频的稳定性、时序一致性仍待进一步评估。
• 依赖的 VFM 选择（V-JEPA 2、VideoMAEv2）可能影响泛化性，其他 VFM 是否同样适用尚待验证。
• 解码阶段的对齐目标是否会导致过度依赖教师模型的知识而限制多样性，待核实。
• 源代码和模型权重尚未正式发布，实际复现结果可能因环境差异而有所不同。

可用于图书/PPT/简报的角度

• 标题建议：《冻结即用：VideoRAE 如何将理解型视频基础模型转化为生成引擎》
• 核心插图：对比传统 3D-VAE 与 VideoRAE 的潜在空间构造流程，突出“冻结编码器 + 轻量投影仪”的简洁性。
• 关键数据：UCF-101 gFVD 40/93，5× 加速，2B 尺度 T2V 收敛优势。
• 适用场景：学术报告（视频生成新范式）、企业分享（降低大模型训练成本）、技术科普（表示自编码器与基础模型的关系）。

原始材料

• 英文标题：VideoRAE: Taming Video Foundation Models for Generative Modeling via Representation Autoencoders
• 英文关键词：Video Foundation Models, Representation Autoencoder, Video Generation, Latent Space, Diffusion Transformers, Autoregressive Models
• 来源链接：https://arxiv.org/abs/2607.14088v1
• 作者：Zhihao Xie, Junfeng Wu, Xinting Hu, Junchao Huang, Li Jiang
• 发布时间：2026-07-15