知识卡片：Representation Conditioning for Generation

一句话结论

RECON 通过把预训练视觉编码器的语义表征直接“喂”给扩散 Transformer 的后段层，在训练时引入、推理时用 MLP 代理复用，从而在不增加参数的前提下大幅加快扩散模型收敛（比 SiT 快 63×，比 REPA 快 25×）。

事件概述或研究问题

论文关注表征对齐（representation-alignment）方法在扩散 Transformer 训练中的作用。以 REPA 为例，它用预训练视觉编码器经 MLP 投影头监督中间层，训练后丢弃该 MLP 头，目的是把视觉编码器的语义导入扩散主干。作者指出：这种对齐目标通过反向传播在早期层实现了导入语义，但后段层仅由速度预测损失（velocity prediction loss）监督，不能保证它们同样能很好地获取这些语义。因此论文提出改进后段层语义表征的方法。

方法/产品要点

• 提出 representation conditioning（RECON），一个简单方案，用于改善扩散 Transformer 后段层的语义。
• 训练阶段：将预训练视觉编码器 token 直接送入后段层。
• 推理阶段：由于不再拥有干净图像，复用 MLP 头（作为视觉编码器的代理），把其输出 token 投影到后段层。
• 方法不增加任何参数（adds no parameters）。
• 作者声明代码已开源：https://github.com/saeidrazavi/RECON

主要结果或产业意义

• 收敛速度显著提升：RECON 比 SiT 快 63×，比 REPA 快 25×。
• 论文声称该方法在加快收敛的同时改善了后段层语义的可获得性（具体生成质量指标待核实，摘要未给出）。
• 由于不增加参数，对既有扩散 Transformer 训练流程的改造成本较低，具备工程落地的吸引力。

为什么重要

• 针对 REPA 类方法的一个被忽视的薄弱点：早期层语义对齐并不自动保证后段层能利用这些语义。RECON 把这一“语义传递断层”作为切入点。
• 与既有卡片讨论的生成质量/一致性/对齐问题处于同一“表征对齐加速扩散训练”脉络，但其增量在于把语义条件从早期层扩展到后段层，并给出推理时用 MLP 头做代理的闭环方案。

局限与不确定性

• 摘要未给出具体数据集、分辨率、模型规模与定量生成质量指标——待核实。
• “63× / 25× 加速”对应的训练配置、基线设置与评测口径未在摘要中说明——待核实。
• 推理时用 MLP 头代理视觉编码器的效果上界，以及是否引入额外推理开销，摘要未说明——待核实。
• 论文发表于 arXiv（cs.CV），同行评审状态未知——待核实。

可用于图书/PPT/简报的角度

• “语义注入不只是早期层的事”：扩散 Transformer 表征对齐的层级视角。
• 训练-推理不对称设计：训练时用编码器 token，推理时用 MLP 代理，如何在不加参数的情况下保持一致性。
• 加速训练的经济学：从 SiT → REPA → RECON 的收敛效率对比可作为效率叙事的案例。
• 可作为“表征对齐/表征条件化”章节与 Align4D、测试时迭代优化等卡片并列，构成“对齐驱动生成”的方法谱系。

原始材料

• Title: Representation Conditioning for Generation
• Authors: Saeed Razavi, Xingjian Leng, Liang Zheng
• Published: 2026-10-14T17:59:52Z
• Primary category: cs.CV
• arXiv ID: 2610.20608v1
• Abstract URL: https://arxiv.org/abs/2610.20608v1
• PDF URL: https://arxiv.org/pdf/2610.20608v1
• Code: https://github.com/saeidrazavi/RECON
• Keywords: Representation Conditioning, RECON, diffusion transformer, representation alignment, REPA, convergence acceleration