知识卡片：更好的 Critic 对分布匹配蒸馏至关重要

一句话结论

在分布匹配蒸馏（DMD）中，Critic 的容量需随教师模型同步扩展（联合缩放），且应感知学生模型的生成步（STAC），否则教师变大反而可能导致学生质量下降与训练崩溃——该结论在 ImageNet、SDXL/FLUX.2 文生图与 Wan2.1 文生视频上均得到验证。

事件概述或研究问题

论文研究 DMD 框架下 Critic 需要具备何种“容量”与“信息”才能提供可靠的训练信号。DMD 用教师 score 与在线 Critic 对学生分布 score 的估计之差来训练少步学生模型，因此 Critic 的可靠性直接决定蒸馏信号的质量。

方法/产品要点

• 容量侧：联合缩放（joint scaling）。在 ImageNet 上用 7 种 SiT 模型规模做控制实验：固定一个小 Critic、只增大教师，会降低学生质量并引发训练崩溃；让 Critic 随教师一同缩放，可在其实验中避免崩溃，使学生从更大教师中获益。
• 信息侧：步感知 Critic（STAC, step-aware critic）。不再强迫 Critic 建模与步无关的学生输出混合分布，而是以学生的生成步为条件，估计步特定的 score。
• 两项改动组合使用，在类别条件 ImageNet 生成、SDXL 与 FLUX.2 文生图、Wan2.1 文生视频三类任务上均稳定提升少步蒸馏效果。

主要结果或产业意义

• 揭示 DMD 中一个易被忽视的失效模式：教师规模提升并不自动带来学生收益，Critic 容量不匹配时甚至会训练崩溃。
• 联合缩放 + STAC 作为通用改进，跨图像与视频、跨多种基座（SiT、SDXL、FLUX.2、Wan2.1）一致有效，具备直接迁移到现有少步蒸馏流水线的潜力。
• 具体指标数值、各模型规模下的定量对比待核实（摘要未给出）。

为什么重要

现有 DMD 改进多聚焦于目标函数或梯度处理（如 PDMD 投影残差、DMAD 改为对抗式 log-density ratio 学习），本条把注意力转向 Critic 本身的设计——容量匹配与步条件化，提供了与上述工作正交的改进维度，可叠加使用。

局限与不确定性

• 论文为 arXiv 预印本（2610.42135v1），发表状态与同行评审情况待核实。
• 摘要未披露具体指标、消融幅度与计算开销；“联合缩放”的最优比例规则待核实。
• 实验覆盖 SiT、SDXL、FLUX.2、Wan2.1，其他架构与模态上的泛化性待核实。
• 训练崩溃的具体机制解释待核实。

可用于图书/PPT/简报的角度

• “蒸馏不是教师越大越好”：用 Critic 容量失配导致崩溃的对照实验说明蒸馏系统的组件平衡问题。
• “Critic 也要看步”：步感知条件化作为去混合建模的思路，可类比其他多步/多阶段生成系统的条件设计。
• 与 PDMD、DMAD 并列，构成“DMD 改进三条路线：梯度投影 / 对抗化目标 / Critic 设计”的框架图。

与既有脉络的关系

已有卡片 PDMD 与 DMAD 均以改造 DMD 的更新目标或 score 差估计方式为核心；本条不改变匹配目标，而是补充“Critic 容量需与教师联合缩放”和“Critic 需步条件化”两条增量结论，可作为 DMD 改进谱系中的第三条支线。

原始材料

• 标题：A Better Critic Matters for Distribution Matching Distillation
• 作者：Zongze Wu, Xianbang Wang, Zhengyang Geng, Mingdeng Cao, Zhoutong Zhang, Richard Zhang, Eli Shechtman, Ruiming Cao
• arXiv ID：2610.42135v1（cs.CV, cs.LG），发布 2026-10-30
• Abstract URL: https://arxiv.org/abs/2610.42135v1
• PDF URL: https://arxiv.org/pdf/2610.42135v1
• 关键词：Distribution Matching Distillation; critic; joint scaling; step-aware critic (STAC); few-step distillation; ImageNet; SDXL; FLUX.2; Wan2.1