知识卡片：为连续扩散语言模型设计 Transformer 架构

一句话结论

LangDiT 针对连续扩散语言模型（CDLM）重新设计 Transformer 骨干，在保持原模型表示、训练目标和采样器不变的前提下，仅靠架构改动就把 OpenWebText 无条件生成困惑度推到新的最优水平。

事件概述或研究问题

现有连续扩散语言模型大多直接套用因果大语言模型（LLM）或图像扩散 Transformer（DiT）的架构，这些架构并非为 CDLM 优化。论文系统研究 CDLM 的 Transformer 设计，并提出 Language Diffusion Transformer（LangDiT），试图回答“架构本身是否是被忽视的性能来源”。

方法/产品要点

LangDiT 组合了四项设计：特征归一化与 query-key 归一化、更宽的噪声条件注入、似然捷径（likelihood-shortcut）梯度路由与校准、以及置信度门控的训练自条件（self-conditioning）。它作为即插即用骨干，分别接入 LangFlow 和 Plaid 风格两类 CDLM 表述，并保持各自的底层表示、训练目标和推理采样器不变，以隔离架构因素。

主要结果或产业意义

在 OpenWebText 上 1024 token 序列的无条件生成中，LangFlow + LangDiT 达到 GenPPL 21.72（1024 NFEs）和 44.72（128 NFEs）；适配 Plaid 风格表述后达到 GenPPL 11.33（1024 去噪 NFEs）和 27.51（128 NFEs）。作者称这在匹配的 LangFlow 对比中显著降低生成困惑度，并在不同模型表述下建立连续语言生成的新 SOTA。

为什么重要

论文把“架构设计”单独拎出来作为 CDLM 的提升来源，说明此前直接沿用 LLM/DiT 骨干可能低估了连续扩散语言模型的潜力；对做扩散语言模型骨干选型和结构改造的研究与工程实践有直接参考价值。

局限与不确定性

材料仅给出 OpenWebText 无条件生成的 GenPPL 结果，未涉及条件生成、下游任务或更大规模模型的表现；NFEs 与 GenPPL 的权衡细节、与其他 CDLM 的系统对比、以及各设计组件的消融贡献在摘要中未展开，待核实。论文发表信息（arXiv 2610.22330v1，2026-10-15）以来源为准。

可用于图书/PPT/简报的角度

• “骨干架构不是中立的”：CDLM 需要专门设计的 Transformer，而非照搬 LLM 或图像 DiT。
• 即插即用骨干的对照实验设计：固定表示、目标与采样器，只改架构，干净地隔离变量。
• 连续扩散语言生成的质量—步数权衡：1024 NFEs 与 128 NFEs 下的 GenPPL 差距可作为效率讨论素材。

与既有脉络的关系

本条与“AURORA-LM：面向连续潜空间扩散语言建模的自编码统一表示”同属连续扩散语言建模方向，但关注点不同：AURORA-LM 改的是文本潜表示与扩散建模空间，本条改的是 Transformer 骨干架构，二者可视为连续扩散 LM 在“表示”与“架构”两条线上的并行进展。

原始材料

• 标题：Designing Transformers for Continuous Diffusion Language Models
• 作者：Weijian Luo, Yujian Chen, Hao Jiang, Guang Cheng, Tianyang Hu
• arXiv ID：2610.22330v1（cs.AI），发布/更新：2026-10-15
• 摘要页：https://arxiv.org/abs/2610.22330v1
• PDF：https://arxiv.org/pdf/2610.22330v1
• 关键词：Continuous Diffusion Language Models；Language Diffusion Transformer；LangDiT；GenPPL；NFEs；LangFlow；Plaid