Flash-dLLM 是一个免训练的扩散大语言模型(dLLM)推理加速框架,通过 I/O 感知的融合 KV-cache 内核和 dLLM 自起草-自验证的并行解码策略,缓解 KV 缓存复用与并行 token 验证同时发生时的 GPU 内存 I/O 瓶颈;摘要报告其在 GSM8K 和 HumanEval 上相对先前最强基线 Elastic-Cache 分别实…
值得关注:dLLM 若能在推理效率上接近或超过自回归 LLM,可能成为非自回归文本生成的重要替代路线。Flash-dLLM 的重要性在于它没有把 KV 缓存和并行解码割裂优化,而是关注二者联合时的 I/O 瓶颈,并用融合内核与自…