离散扩散模型在学习一个反向跳转率的条件期望,而该条件期望可通过去噪器(denoiser)、分数比(score ratio)或桥插件预测器(bridge plug-in predictor)三种等价坐标表示;负ELBO精确等于数据熵加上真实反向过程与学习到的反向过程之间的路径KL散度,而不仅仅是下界。
值得关注:离散扩散模型是生成式AI的核心技术之一(如文本、蛋白质序列生成),但此前对其学习目标的理论理解不完整。本工作首次严格证明了ELBO的精确分解形式,并统一了多种流行方法,为模型设计、训练稳定性和损失校准提供了理论基础。