知识卡片：GRACE：生成感知的潜空间压缩加速视频生成

一句话结论：GRACE 提出一种两阶段、生成感知的视频自编码器潜空间压缩框架，在保持与预训练 DiT 兼容的同时，将 Wan2.1-I2V-14B 的 token 数减少 8 倍、在 480×832×81 下延迟降低 11.1 倍，并在 VBench 上匹配压缩前预训练管线的生成质量。

事件概述或研究问题：

• 高压缩视频自编码器可通过减少 DiT 处理的 token 数来加速视频扩散模型，但训练困难：压缩率提升会损害重建质量；恢复质量需要更多通道，而更多通道已知会拖慢 DiT 收敛。
• 压缩后的 latent 与 DiT 原先训练所用的 latent 不同，预训练 DiT 要么从零重训，要么高成本适配。
• 即使压缩 DiT 所配套的自编码器，只以重建为目标优化，也会使 latent 偏离 DiT 已学习的分布。GRACE 要解决的是：压缩自编码器的同时保持对预训练 DiT 的生成兼容性。

方法/产品要点：

• 两阶段框架：Generation-Aware Latent Compression for Efficient Video Generation（GRACE）。
• 保留来自预训练编码器的冻结 base latent，并学习 residual latent 以承载更强压缩下丢失的信息。
• 在冻结 DiT 的特征空间中对齐压缩 latent 与预训练 latent，使自编码器按生成目标优化，而非仅按重建目标优化。
• 随后对 DiT 做轻量微调与 asymmetric denoising：base 先于 residual 被去噪。
• 目标模型/设置：Wan2.1-I2V-14B；分辨率/帧数 480×832×81。

主要结果或产业意义：

• 将 Wan2.1-I2V-14B 的 token 数减少 8 倍。
• 在 480×832×81 下延迟降低 11.1 倍。
• 在 VBench 上匹配压缩前预训练管线的生成质量。
• 产业意义：若结果可复现，意味着无需从零重训或高成本全面适配，也能通过更高压缩 latent 显著降低视频 DiT 推理成本；对视频生成服务、实时生成和推理集群成本优化有直接参考价值。

为什么重要：

• 它把“压缩 latent”从单纯重建问题推进为“生成兼容性 + 生成质量”问题：压缩后 latent 不仅要能重建视频，还要落在预训练 DiT 可处理的分布中。
• 与已有 V-RAE 卡片相关：V-RAE 指出重建最优潜空间不一定适合生成；GRACE 可视为在预训练 DiT 兼容性约束下，用生成感知对齐来设计压缩 latent 的另一条路线。增量在于强调冻结 base + residual latent 与冻结 DiT 特征空间对齐，并用非对称去噪适配 DiT。
• 与 SANA-Video 2.0 等高效视频生成路线并行：后者偏向注意力/系统优化，GRACE 偏向从自编码器 latent 压缩与 DiT 兼容性入手；两者可互补，而非同一事实重复。

局限与不确定性：

• 当前材料只来自 arXiv 摘要，未提供完整实验、消融、训练成本、微调成本与失败案例，相关细节待核实。
• 除 Wan2.1-I2V-14B、480×832×81、VBench 外，对其他模型、分辨率、帧数、任务或数据集的泛化性待核实。
• “匹配生成质量”的具体指标、评价维度、统计显著性、人工评估与安全性/偏见评估待核实。
• 代码、模型权重、复现协议与推理实现是否公开待核实。
• 是否经过同行评审待核实；当前来源为 arXiv preprint。

可用于图书/PPT/简报的角度：

• 用“token 数就是视频 DiT 的成本杠杆”解释为什么潜空间压缩能加速视频生成。
• 对比“重建最优 latent”与“生成最优/生成兼容 latent”，说明生成模型时代自编码器评价标准的变化。
• 拆解 GRACE 的两阶段设计：冻结 base + 可学习 residual、冻结 DiT 特征空间对齐、轻量微调 + base 先于 residual 的去噪。
• 作为案例讨论：如何在已有大模型上做“低成本适配式压缩”，而不是重新训练整个生成管线。
• 与 SANA-Video 2.0、V-RAE 等高效视频生成/潜空间路线做横向对照，形成“效率优化手段谱系”。

原始材料：

• 英文标题：GRACE: Generation-aware latent compression for efficient video generation
• arXiv ID：2610.10524v1
• 作者：Jiyoung Kim, Paul Hyunbin Cho, Jisu Nam, Donghoon Lee, Hyunsung Go, Yeonkyeong Lee, Hansaem Kim, Seungryong Kim
• 发布时间：2026-10-07T17:57:34Z
• 更新：2026-10-07T17:57:34Z
• 主分类：cs.CV；分类：cs.CV
• Abstract URL：https://arxiv.org/abs/2610.10524v1
• PDF URL：https://arxiv.org/pdf/2610.10524v1
• 英文关键词（来源未明确列出；以下据标题/摘要提取，待核实）：GRACE; Generation-Aware Latent Compression; Efficient Video Generation; Video Diffusion Models; Diffusion Transformer (DiT); Video Autoencoder; Latent Compression; Wan2.1-I2V-14B; VBench