知识卡片：学习何时提交——面向快速扩散语言模型的调度蒸馏

一句话结论

dSpark 提出用“调度蒸馏”让扩散大语言模型学会在解码时优先揭示那些能帮助其他位置更快变得可预测的 token，从而在数学推理与代码生成任务上显著加速并行采样；具体方法细节与实验设置待核实。

事件概述或研究问题

扩散大语言模型（dLLMs）可并行生成多个 token，但往往需要多轮解码才能完成回答。摘要指出，高效生成不仅取决于哪些 token 容易预测，还取决于“提交”这些 token 如何帮助预测剩余位置：一个高度可预测的 token 可能几乎不提供有用上下文，而揭示一个不那么可预测的 token 可能让多个其他位置更早变得可预测。该工作要解决的问题是：如何学习“何时提交 token”的调度，以加快扩散语言生成。

方法/产品要点

• 提出 dSpark，一个基于调度蒸馏（schedule distillation）的框架，用于学习何时提交 token 以加速扩散语言生成。
• 构造“去掩码调度”（unmasking schedules），优先揭示那些一旦被揭示就能让其他位置更容易预测的 token，从而在解码更早阶段降低不确定性。
• 将这些调度蒸馏进模型，以实现更快的并行采样，并使用 KL 散度正则项帮助保持生成质量。
• 代码地址：https://github.com/VILA-Lab/dSpark。
• 具体蒸馏目标、调度构造算法、训练数据与超参数：待核实。

主要结果或产业意义

摘要称在数学推理与代码生成任务上进行了广泛评估；在 GSM8K 上，方法在 LLaDA-8B-Instruct 与 Dream-7B-Instruct 上分别相比多种基线取得 10.12× 与 5.12× 的加速，同时保持更优的任务性能。其他基准、基线配置与评测细节：待核实。

为什么重要

• 对扩散语言模型而言，解码轮数与并行采样效率是关键部署瓶颈；dSpark 把“提交顺序”本身作为可学习对象，而不是仅依赖 token 置信度，提供了加速 dLLM 的一条新路径。
• 与既有脉络的关系：已有卡片 Pivot-SD 同样关注掩码扩散语言模型中“对剩余掩码位置不确定性影响最大的承诺”，采用离线自蒸馏后训练；dSpark 的增量在于以“调度蒸馏”学习提交调度并结合 KL 正则，且在 GSM8K 上报告了相对基线的加速数字。两者关系与差异需以原文核对，待核实。

局限与不确定性

• 未能抓取正文，本卡片仅基于标题、摘要与元数据；方法细节、实验规模、基线选择、统计显著性与消融结果均待核实。
• 摘要仅提及 GSM8K 的具体加速数字，其他数学与代码基准的结果待核实。
• 加速是否在不同模型规模、不同任务与不同采样预算下稳定，待核实。
• 代码仓库可用性与复现条件待核实。

可用于图书/PPT/简报的角度

• “不只是预测哪个 token，而是决定先揭示哪个 token”：把扩散语言模型的解码调度作为学习问题。
• 并行生成的速度—质量权衡：调度蒸馏 + KL 正则如何试图在加速同时保持质量（需原文佐证）。
• 与 Pivot-SD 等“支点/关键承诺”路线的对照：从自蒸馏后训练到调度蒸馏的演进线索（待核实）。
• 产业视角：dLLM 推理加速对低成本部署与交互式应用的潜在意义（基于摘要的加速数字，需标注待核实）。

原始材料

• 标题：Learning When to Commit: Schedule Distillation for Fast Diffusion Language Models
• 来源：arXiv
• URL：https://arxiv.org/abs/2610.35804v1
• 代码：https://github.com/VILA-Lab/dSpark
• 关键词：diffusion language models；schedule distillation；parallel decoding；unmasking schedule；KL-divergence regularizer（英文关键词部分待核实）
• 说明：未能抓取正文，仅基于已知元数据生成；无法确认之处已标注“待核实”。