知识卡片：Mask Forcing：通过双噪声掩码展开改进自回归视频扩散蒸馏

一句话结论

Mask Forcing 提出一种名为“双噪声掩码展开”的训练扰动策略，用于抑制自回归视频扩散蒸馏中因反向 KL 散度导致的模式坍缩，从而在不引入真实视频数据、不增加后训练阶段的情况下，提升多种自回归视频扩散蒸馏方法的生成视觉质量。

事件概述 / 研究问题

自回归（AR）视频扩散模型在实时视频生成方面展现出潜力。近期方法通过分布匹配蒸馏（DMD）将预训练的双向视频扩散模型蒸馏为因果自回归学生模型，但生成视频常出现过度饱和、过度平滑等问题，导致视觉质量与真实感受限。作者认为核心原因在于 DMD 中反向 KL 目标具有“模式寻找”（mode-seeking）行为，可能使学生分布坍缩到教师分布的少数几个模式上，从而丢失多样性并损害画面质量。

方法/产品要点

• 提出 Mask Forcing，一种“双噪声掩码展开”（Dual-Noise Masking Rollout）策略。
• 在 AR 学生模型的自回归 self-rollout 过程中，沿空间轴和时间轴施加随机掩码，向带噪的 rollout 输入中注入更干净的信号。
• 这种扰动鼓励学生 rollout 探索教师分布的更多区域，使 DMD 能够提供超出学生已覆盖模式的监督信号。
• 更干净的 token 可以充当其他更噪 token 的去噪指导，改善中间 rollout 预测并减少误差累积。
• 摘要未具体解释“dula-noise”中“双噪声”的详细含义与实现方式，待核实；具体掩码采样与噪声调度细节也待核实。

主要结果或产业意义

• 摘要称，大量实验表明该方法能以较高效率改善多种 AR 视频扩散蒸馏方法的视觉质量。
• 方法不需要使用真实视频数据，也不需要额外的后训练阶段，具有较低附加成本的潜力。
• 摘要未给出具体数据集、定量提升幅度或推理速度，实际评测结果与产业落地指标待核实。

为什么重要

自回归视频扩散蒸馏是迈向实时视频生成的重要路径，但其学生在蒸馏后容易出现色彩过饱和与画面平滑等质量问题。本条工作在既有“MV-Forcing”等将 DMD 与自强迫用于视频生成的工作基础上，进一步指出质量问题的根源在于反向 KL 模式寻找导致的模式坍缩，并提出一种通用的训练期扰动策略来缓解该问题。与已有相关卡片相比，增量信息在于：它不改变多视角或长视频生成框架，而是聚焦于蒸馏本身带来的视觉退化，并可与多种 AR 蒸馏方法结合。

局限与不确定性

• 目前仅有一条来自 arXiv 预印本的摘要信息，尚未提供完整方法细节与可复现实验。
• 摘要中的性能提升是作者报告的结果，未见同行评审或独立验证。
• “双噪声”的具体指涉、掩码策略的超参数、对不同视频分辨率与时长的适应性等均有待核实。

可用于图书/PPT/简报的角度

• 讲解扩散模型蒸馏中的“模式坍缩”问题及其典型现象（过饱和、过平滑）。
• 说明在自回归生成中如何通过类似 teacher forcing 的随机掩码策略，平衡“跟随教师”与“自主探索”。
• 作为 AI 视频生成、实时视频生成、扩散蒸馏方向的近期进展案例。
• 可用于讨论“不修改架构、只修改训练扰动”是否足以缓解生成质量下降。

原始材料

• English Title: Mask Forcing: Improving Autoregressive Video Diffusion Distillation via Dual-Noise Masking Rollout
• English Keywords: autoregressive video diffusion; distribution matching distillation; masking rollout; video generation; mode collapse
• arXiv ID: 2609.09123v1
• Authors: Zhuoran Zhao, Shengju Qian, Tongtong Liang, Xianghao Kong, Songchun Zhang, Junchao Huang, Guian Fang, Xin Wang, Pan Hui, Anyi Rao
• Published: 2026-09-08
• Primary Category: cs.CV
• URL: https://arxiv.org/abs/2609.09123v1