知识卡片：嵌入预测助力图像生成

一句话结论

在扩散 Transformer 中，条件通常只嵌入一次并在每个去噪步骤复用；该论文提出用“预测嵌入”替代固定条件，并让条件在每步去噪时重新计算，从而改善图像生成。其最终模型 NEPA-DiT-XL 在 class-conditional ImageNet 256×256 上达到 FID 1.32，训练计算约为 REPA 的三分之一（据摘要）。

事件概述或研究问题

论文英文标题为 Embedding Prediction Helps Image Generation。作者关注的问题是：扩散 Transformer 通常把类别标签或文本提示嵌入一次，然后在每个去噪步骤重复使用同一条件；那么，预测出来的嵌入能否作为这种条件？

为此，论文提出 Next-Embedding Predictive Autoregression (NEPA)：训练一个 Transformer 预测序列中的下一个连续嵌入。在生成设定中，干净图像跟在噪声图像之后，因此干净图像的嵌入可视为条件与噪声图像之后的下一个嵌入。作者用 Multi-Embedding Prediction 一次性预测这些嵌入，并在 Embedding Conditioned Generation 中让 DiT 生成器以这些预测为条件；这些条件会在每个去噪步骤重新计算，从而适应当时的噪声状态。

实验在 class-conditional ImageNet 256×256 上进行，研究生成器条件、Multi-Embedding Prediction 的设计，以及两个模型的 scaling。摘要还指出，NEPA 模型会在每个采样步骤增加第二个网络。

方法/产品要点

• NEPA / Next-Embedding Predictive Autoregression：训练 Transformer 预测序列中的下一个连续嵌入。
• Multi-Embedding Prediction：一次性预测所需的多个嵌入，而非逐步单独预测。
• Embedding Conditioned Generation：DiT 生成器以预测嵌入为条件；条件在每个去噪步骤重新计算，因此能随当前噪声状态变化。
• 模型组合：NEPA 与 REPA 结合后，最终模型称为 NEPA-DiT-XL。
• 实验设置：class-conditional ImageNet 256×256；研究生成器条件、Multi-Embedding Prediction 设计、两个模型的 scaling。
• 额外计算结构：NEPA 模型为每个采样步骤增加第二个网络；其推理开销、采样速度影响未在摘要中说明，待核实。

主要结果或产业意义

• 摘要报告：结合 NEPA 与 REPA 的最终模型 NEPA-DiT-XL 达到 FID 1.32，使用约 REPA 三分之一的训练计算。
• 结果表明，把固定条件改为每步重算的预测嵌入，可能同时影响生成质量和训练效率。
• 产业意义：摘要未直接讨论具体产业落地、部署成本或推理成本，因此相关产业影响待核实。

为什么重要

• 它挑战了扩散 Transformer 中“条件嵌入一次、全程复用”的常见做法，转向“条件随去噪状态动态重算”。
• 它把 next-embedding prediction / 自回归式嵌入预测与扩散图像生成连接起来，探索嵌入预测作为生成条件信号的潜力。
• 若 FID 1.32 与约三分之一 REPA 训练计算的比较条件成立，则说明条件机制设计可能影响训练算力效率，而不仅是最终样本质量。
• 与已有卡片相比，本条不重复“DiT 用于稠密预测”“视频预测辛几何”“测试时迭代优化”等事实；其增量在于关注 DiT 的条件信号本身，即从静态条件复用转向每步重算的预测嵌入。

局限与不确定性

• 实验主要集中在 class-conditional ImageNet 256×256；是否适用于其他数据集、分辨率、文本到图像任务或多模态任务，待核实。
• 摘要以类别标签或文本提示为动机，但实验部分显示为 class-conditional ImageNet；文本条件生成实验是否存在及效果如何，待核实。
• NEPA 每个采样步骤增加第二个网络；由此带来的推理延迟、显存占用、采样速度变化，待核实。
• FID 1.32 与 REPA 训练计算比较的具体训练配置、基线设置、采样步数和评价协议，待核实。
• 代码、模型权重、同行评审状态和复现细节，待核实。
• 论文是否在更广泛生成任务上优于其他条件机制，待核实。

可用于图书/PPT/简报的角度

• 条件复用 vs 条件重算：从“一次嵌入、全程复用”到“每步重算、适应当前噪声状态”。
• 嵌入预测作为生成条件：把 next-embedding prediction 引入扩散 Transformer 条件机制。
• 训练效率案例：以约三分之一 REPA 训练计算达到 FID 1.32（据摘要）作为效率—质量权衡的讨论素材。
• 与 REPA 的组合：可用于说明新条件机制如何与已有表示对齐方法叠加。
• 适合章节：扩散 Transformer、生成模型条件机制、自回归与扩散交叉、生成模型训练效率。

原始材料

• 英文标题：Embedding Prediction Helps Image Generation
• 英文关键词：Next-Embedding Predictive Autoregression (NEPA)；Multi-Embedding Prediction；Embedding Conditioned Generation；DiT；REPA；FID；ImageNet
• arXiv ID：2610.02203v1
• 作者：Sihan Xu, Ji Xie, Zilin Wang, Hui Shen, Stella X. Yu
• 发布时间：2026-10-01T17:59:49Z；更新时间：2026-10-01T17:59:49Z
• 分类：cs.CV, cs.LG；Primary category: cs.CV
• Abstract URL：https://arxiv.org/abs/2610.02203v1
• PDF URL：https://arxiv.org/pdf/2610.02203v1
• 原始摘要：In diffusion transformers, a class label or a text prompt is embedded once, and the same condition is reused at every denoising step. We ask whether predicted embeddings can serve as this condition instead. Next-Embedding Predictive Autoregression (NEPA) trains a Transformer to predict the next continuous embedding in a sequence. In generation, the clean image follows the noisy image, so its embeddings are the next embeddings after the condition and the noisy image. We train a NEPA model to predict them all at once with Multi-Embedding Prediction, and in Embedding Conditioned Generation, a DiT generator is conditioned on these predictions, recomputed at every denoising step, so the conditioning signal adapts to the current noisy state. Experiments on class-conditional ImageNet $256\times256$ study the condition of the generator, the design of Multi-Embedding Prediction, and the scaling of both models. The NEPA model adds a second network to every sampling step; with it, and combined with REPA, our final model, NEPA-DiT-XL, reaches an FID of 1.32 using about a third of the training compute of REPA.