知识卡片：Video DeltaNet：面向直播视频生成的视频原生混合注意力

一句话结论

Video DeltaNet（VDN）将局部 Softmax 注意力与双向线性记忆结合，并引入逐帧联合空间 token 的 Video Delta Attention（VDA）；在 MiniMax H3 上，VDN-H3 以八步蒸馏和优化 SGLang 服务栈，在 8 张 NVIDIA B200 上把 14.3 秒、768p 视频的 DiT 去噪压缩到 6.70 秒，较同 GPU 数的 50 步稠密 H3 基线加速 14.5 倍。

事件概述或研究问题

视频扩散模型在去噪时需要反复处理很长的时空 token 序列，注意力成为主要计算瓶颈。线性注意力在近期大语言模型中被广泛采用，但直接用于视频模型时，往往难以保留高质量生成所需的细粒度交互。VDN 的研究问题是：能否为视频模型设计一种混合注意力，在长程视频上下文和细粒度生成质量之间取得更好平衡。

方法/产品要点

• VDN 结合局部 Softmax 注意力与双向线性记忆，用于长程视频上下文。
• 线性分支提出 Video Delta Attention（VDA）：以帧为单位更新记忆，并将该帧的空间 token 联合纳入更新。
• 两个分支分别使用输出投影和可学习门控进行校准。
• 采用分阶段教师对齐（staged teacher-alignment）配方，将新通路逐步引入预训练模型。
• 在 MiniMax H3 上实例化为 VDN-H3：video-to-video 交互使用混合注意力，涉及文本或音频的交互仍保留 Softmax。
• 结合八步蒸馏与优化的 SGLang 服务栈。

主要结果或产业意义

• 在 8 张 NVIDIA B200 GPU 上，VDN-H3 完成 14.3 秒、768p 视频的 DiT 去噪耗时 6.70 秒。
• 相对同 GPU 数下的 50 步稠密 H3 基线，报告 14.5 倍加速。
• 产业意义：面向长视频/直播视频生成，降低扩散 Transformer 去噪阶段的高昂注意力成本；蒸馏降低采样步数，SGLang 服务栈优化则指向推理部署效率。直播场景的端到端延迟、并发、画质和稳定性指标待核实。

为什么重要

• 它把“线性注意力用于视频模型会损失细粒度交互”作为核心矛盾，并用局部 Softmax + 双向线性记忆的混合设计回应。
• VDA 的增量在于“逐帧更新、联合空间 token”的记忆更新方式，而非简单逐 token 线性注意力。
• 与既有脉络的关系：已有相关卡片中，SANA-Video 2.0 也探索混合线性注意力和注意力残差，FVAttn 关注稀疏注意力与运行时负载均衡；本条新增的是 VDA、双向线性记忆、双分支门控/输出投影、分阶段教师对齐，以及在 MiniMax H3 上的八步蒸馏与 SGLang 服务栈优化。材料未给出与这些方法的直接对比，因此相对优势待核实。
• 对图书/简报而言，可作为“视频生成高效注意力”和“推理系统协同优化”的案例。

局限与不确定性

• 当前材料仅为 arXiv 摘要和元数据，缺少实验细节、数据集、质量指标、消融研究、内存占用和端到端延迟数据。
• 6.70 秒明确对应 DiT 去噪，不一定是包含 VAE、解码、调度等环节的端到端时间，待核实。
• 14.5 倍加速的基线是 50 步稠密 H3，比较条件是否完全公平、是否包含服务栈优化收益，待核实。
• 八步蒸馏、分阶段教师对齐、VDA 更新公式、双向记忆实现、门控机制细节待核实。
• 标题中的 livestream video generation 与摘要中 video-to-video 实例之间的关系、直播定义与评估协议待核实。
• 代码、模型权重或项目页可用性待核实。

可用于图书/PPT/简报的角度

• 视频扩散模型的注意力瓶颈：为什么长时空 token 序列会拖慢去噪。
• 混合注意力架构：局部 Softmax 保细粒度，线性记忆管长程上下文。
• 帧级 Delta 记忆更新：VDA 与常规线性注意力的差异。
• 推理加速的组合拳：蒸馏降步数 + 注意力改造 + 服务栈优化。
• 直播/长视频生成的系统挑战：质量、延迟、成本之间的权衡。
• 与 SANA-Video 2.0、FVAttn 等组成“高效视频生成注意力”专题。

原始材料

• 英文标题：Video DeltaNet: A Video-Native Hybrid Attention for Livestream Video Generation
• arXiv ID：2609.20744v1
• 作者：Haocheng Xi, Yiming Xie, Hexu Zhao, Yiwen Zhang, Michael Liu, Thomas Creavin, Kurt Keutzer, Xiuyu Li, Zhaoyang Lv, Chenfeng Xu, Haiwen Feng
• 发布时间：2026-09-17T17:33:15Z；更新时间：2026-09-17T17:33:15Z
• 主分类：cs.LG；分类：cs.LG
• 英文关键词（从材料提取）：Video DeltaNet; Video Delta Attention; hybrid attention; linear attention; Softmax attention; video diffusion; livestream video generation; MiniMax H3; SGLang; eight-step distillation
• Abstract URL：https://arxiv.org/abs/2609.20744v1
• PDF URL：https://arxiv.org/pdf/2609.20744v1