知识卡片：离散扩散模型的 ODE 采样器（指数残差流）

一句话结论

论文提出指数残差流（ERFs），为离散扩散模型构造了类似连续扩散“概率流 ODE”的确定性采样框架，并证明其保持原扩散模型的边缘分布。

事件概述或研究问题

连续扩散模型可以用确定性 ODE（概率流 ODE）复现其边缘分布，这为加速采样和一致性蒸馏提供了基础。本文追问：离散扩散模型是否存在类似 formulation，并给出肯定回答，提出指数残差流（ERFs）。

方法/产品要点

• 为每个 token 和位置引入一个连续残差变量，将离散状态扩展为“离散状态 + 连续残差”。
• 残差按分段定义的 ODE 确定性演化，其向量场依赖当前离散状态以及给定扩散模型的前向和后向速率矩阵。
• 当某个残差到达零时，离散状态发生改变。
• 论文证明该构造保持原扩散模型的边缘分布。
• 给出该采样器的实用离散化方案，并专门化到 masked diffusion 和 uniform diffusion。
• ERFs 的确定性轨迹支持一致性蒸馏。

主要结果或产业意义

据摘要，ERFs 在包括代码生成和文本生成任务在内的多种基准上取得相对此前方法的经验性提升；确定性轨迹可支撑一致性蒸馏，从而服务加速采样。具体实验设置、基线对比和提升幅度待核实。

为什么重要

若离散扩散也能拥有保持边缘分布的确定性 ODE 采样路径，则连续扩散中成熟的加速采样与蒸馏工具链（如少步采样、一致性模型）有望迁移到离散生成任务（文本、代码等）。这与既有卡片中“全离散条件扩散模型的有限样本保证”关注的理论保证方向不同：本条聚焦采样器构造与确定性轨迹，二者可构成“理论保证 + 采样加速”的互补脉络。

局限与不确定性

• 摘要未披露离散化的具体误差界、步数与质量权衡，待核实。
• “经验性提升”的具体基准、基线、指标与统计显著性待核实。
• 一致性蒸馏的实验细节（教师模型、蒸馏步数、学生模型规模）待核实。
• 仅基于摘要与元数据，未核对全文证明细节。

可用于图书/PPT/简报的角度

• 用“连续扩散有概率流 ODE，离散扩散有没有？”作为切入点，引出 ERFs 的动机。
• 用“离散状态 + 连续残差”的增广状态图示意残差归零触发状态跳变。
• 对比 masked diffusion 与 uniform diffusion 两个特化场景。
• 将“确定性轨迹 → 一致性蒸馏 → 少步采样”作为产业落地路径讲述。

原始材料

• 标题：An ODE-based Sampler for Discrete Diffusion Models
• arXiv ID：2610.40618v1
• 作者：Samson Gourevitch, Yazid Janati, Eric Moulines, Eric P. Xing, Alain Durmus, Giacomo Zanella
• 发布/更新：2026-10-29T17:55:25Z
• 主分类：cs.LG；分类：cs.LG, stat.ML
• Abstract URL：https://arxiv.org/abs/2610.40618v1
• PDF URL：https://arxiv.org/pdf/2610.40618v1