知识卡片：SANA-Video 2.0：混合线性注意力与注意力残差实现高效视频生成
一句话结论
SANA-Video 2.0 通过混合线性‑softmax 注意力与块注意力残差，在单 GPU 上生成 720p 视频，质量媲美全 softmax 视频 DiT，推理速度比同规模全 softmax 基线快 3.2 倍，并借助 Sol-Engine 优化实现 120 倍于 Wan 2.2-A14B 的加速。
事件概述 / 研究问题
视频扩散 Transformer 的全局注意力计算复杂度随序列长度平方增长，限制了长视频、高分辨率的生成效率。现有线性注意力虽能实现 O(N) 缩放，但缺乏全秩令牌交互，导致表达能力下降。SANA-Video 2.0 提出一种混合注意力框架，在保持线性注意力长序列优势的同时恢复 softmax 级表达力，并探索如何通过注意力残差跨深度传播优质表示。
方法 / 产品要点
- 混合线性‑softmax 注意力（Hybrid Linear-Softmax Attention）：按 3:1 比例交替使用门控线性注意力（O(N) 主导混合）和周期性的门控 softmax 锚点，恢复纯线性注意力缺失的全秩令牌交互。
- 块注意力残差（Block Attention Residuals, AttnRes）：将已完成块的摘要路由到后续线性层，实现锚点特征复用，使深层有效秩提升约 12%。
- 从头训练：直接学习完整混合注意力而非对预训练模型线性化；通过降分辨率代理实验确定 25% softmax 为最优质量‑效率折衷。
- 模型规模：统一架构下提供 5B 和 14B 两个参数版本。
- 软硬件协同优化（Sol-Engine）：集成内核融合、缓存、稀疏注意力等优化，在硬件友好的骨干上额外加速 3.58 倍。
主要结果 / 产业意义
- 在单个 H100 上，40 步采样时 480p 视频 VBench 得分 84.30，耗时仅 13.2 秒，与更大规模的全 softmax 视频 DiT 竞争力相当。
- 编译后的 DiT 前向传播在 720p/60s 下比全 softmax 基线快 3.2 倍，且差距随视频时长扩大。
- 经 Sol-Engine 全栈优化后，5B 模型在 720p/5s 下的完整推理流水线仅需 13.06 秒，比 Wan 2.2-A14B 在单张 H100 上快 120 倍。
- 证明了混合注意力设计能在大幅降低成本的前提下恢复 softmax 级表达力，为可扩展的长视频、高分辨率生成提供了实用方案。
为什么重要
- 首次在视频生成领域实现了线性注意力与 softmax 注意力的有效混合，兼顾效率与质量。
- 块注意力残差是一种新颖的跨层通信机制，可推广到其他深度 Transformer 架构。
- 实际部署意义显著：单 GPU 上即可生成 720p 视频，大幅降低了硬件门槛和延迟。
- 与已有工作（如 FVAttn 关注稀疏注意力加速、FlowMimic 关注编辑数据生成）不同，本工作聚焦于注意力机制本身的混合设计，是 Foundation Model 效率优化的另一方向。
局限与不确定性
- 论文未披露 14B 模型的详细性能数据，仅提及两个规模在统一架构下实例化（待核实具体 14B 结果）。
- 混合注意力中 3:1 比例的通用性、是否适用于其他模态或更长的序列尚待验证。
- VBench 分数在 480p 下测得，更高分辨率（如 720p）的 VBench 分数未直接给出（待核实）。
- 与 Wan 2.2-A14B 的比较仅基于单 GPU 延迟，未报告双方在不同硬件配置下的性能或生成质量差异。
可用于图书 / PPT / 简报的角度
- 技术突破：注意力机制的混合设计——线性 + softmax 的优雅组合，类似“稀疏 + 全局”的折衷思路。
- 科研启示：块注意力残差（AttnRes）可视为一种跨层残差连接，借鉴了 ResNet 的思想但应用于注意力特征。
- 工程案例：Sol-Engine 优化展示了从算法到硬件的全栈协作对 AI 推理速度的巨大提升（3.58 倍）。
- 行业影响：单 GPU 高清视频生成成为现实，可能推动视频生成在消费级设备上的应用。
英文标题
SANA-Video 2.0: Hybrid Linear Attention with Attention Residuals for Efficient Video Generation
英文关键词
Hybrid Linear-Softmax Attention; Block Attention Residuals; Video Diffusion Transformer; Efficient Video Generation; Long-Context Scaling
原始材料
- 论文：arXiv:2607.21553v1，标题同上，作者 Junsong Chen 等，2026-07-23 发布。
- 摘要及 PDF 链接：https://arxiv.org/abs/2607.21553v1