知识卡片：重新思考在线策略扩散蒸馏中的无分类器引导

一句话结论： 现有在线策略蒸馏（OPD）方法直接匹配教师与学生经无分类器引导（CFG）组合后的速度，这会在分支层面引发“负分支不对称”（NBA）失败模式；为此提出的“正向-方向匹配”（PDM）通过分别约束正向预测和CFG条件方向，实现了更鲁棒的知识迁移。

事件概述 / 研究问题： 在线策略蒸馏（OPD）通过沿当前学生生成的轨迹查询教师来适应扩散模型，但现代扩散系统中默认使用的无分类器引导（CFG）如何在OPD中正确发挥作用尚不明确。现有OPD方法将速度匹配自然扩展到CFG组合预测，直接匹配教师和学生的引导速度。研究指出，这种目标在分支层面是欠定的：正向分支和负分支的误差可以在引导预测中相互补偿。通过两个对比案例，发现当共享负条件时朴素匹配仍然有效（两个分支误差共同下降）；但当模型原生的CFG模式在教师负分支中保留了学生无法获得的特权信息时，这种共同下降被打破，组合目标引发拮抗的分支误差动力学——降低正向分支误差的同时增加负分支误差，该失败模式被命名为“负分支不对称”（NBA）。

方法/产品要点：

• 问题识别： 直接匹配CFG组合速度的OPD目标存在分支级欠定性，导致NBA。
• 解决方案： 提出正向-方向匹配（Positive-Direction Matching, PDM），一种对分支感知的OPD目标，分别约束（1）正向预测和（2）CFG条件方向。
• 应用场景： 将PDM应用于稠密到稀疏视频控制任务，朴素引导匹配对推理引导尺度高度敏感，而分支感知监督使知识迁移更鲁棒和有效。

主要结果或产业意义：

• 揭示了CFG在在线策略蒸馏中的隐藏失败模式NBA，并提出了首个针对性解决方案PDM。
• 在视频控制任务上，PDM降低了推理时对引导尺度的敏感性，提升了蒸馏质量。

为什么重要： 无分类器引导是当前扩散模型的标准组件，而在线策略蒸馏是加速和适应扩散模型的关键技术。现有工作忽略了CFG组合预测中分支误差的相互作用，导致蒸馏效果受限于负分支的特权信息。PDM提供了可落地的分支感知改进，对视频生成、图像编辑等依赖扩散蒸馏的应用有潜在价值。

局限与不确定性：

• 材料未明确讨论PDM在除视频控制外的其他任务（如文本到图像）上的表现，通用性待核实。
• 未提供NBA失败的定量阈值或检测方法，实际应用中的诊断指标待补充。
• 未与除朴素匹配外的其他OPD变体（如之前的Direct-OPD、On-Policy Delta Distillation等）进行对比，增量优势的量化需进一步验证。

与既有脉络的关系： 本卡片聚焦于CFG在扩散蒸馏中的分支级问题，与之前关于策略蒸馏泛化（Direct-OPD）、delta信号蒸馏、分歧调制自蒸馏等卡片属于同一领域的不同侧面。本工作指出了现有OPD方法忽略的一个核心细节——CFG组合目标的欠定性与负分支特权信息，并提供了新的训练目标PDM，是对现有在线策略蒸馏理论框架的补充和修正。

可用于图书/PPT/简报的角度：

• “扩散模型蒸馏中隐藏的陷阱：负分支不对称”——以案例讲解为何直接匹配引导速度会失败。
• 从“组合物欠定”到“分支感知”：PDM如何修复CFG蒸馏的盲区。
• 稠密到稀疏视频控制中的知识迁移：PDM使学生模型更稳定地跟随教师。

原始材料：

• 英文标题： Rethinking Classifier-Free Guidance in On-Policy Diffusion Distillation
• 英文关键词： classifier-free guidance, on-policy distillation, diffusion models, negative branch asymmetry, positive-direction matching
• 来源： arXiv:2607.24731v1, URL: https://arxiv.org/abs/2607.24731v1