知识卡片：学习读取扩散 Transformer 中的上下文令牌

一句话结论

论文提出一种用自然语言“读取”MM-DiT 中间 contextual tokens 的框架：这些令牌在去噪过程中编码正在生成图像的全局语义，甚至空提示下也能解码图像特异信息；据此提出的 Contextual Alignment 可强化这些信息，并改善生成质量与分布覆盖。

事件概述或研究问题

Multimodal Diffusion Transformers (MM-DiTs) 在生成全程联合处理视觉与文本表示。文本令牌经多模态注意力反复更新，形成动态 contextual tokens，但其功能此前理解不足。本文研究：能否通过自然语言提问读取这一上下文空间？这些令牌在何时编码何种信息？能否将可读性用于改进生成？

方法/产品要点

• 训练轻量瓶颈网络，把中间 contextual tokens 映射到冻结 LLM 的输入空间；LLM 直接基于这些隐藏表示回答关于“正在生成的图像”的问题。
• 通过自然语言 interrogation 观察去噪过程中 contextual tokens 的语义内容。
• contextual tokens 编码丰富全局表示：生成特定语义，包括 prompt 未充分指定的属性，在去噪早期即可访问；更细粒度细节随时间变得可读。
• 即使 MM-DiT 收到空提示，这些信息仍可解码，说明 contextual tokens 从演进的视觉表示中积累图像特异信息。
• 可读性更高的生成更倾向获得更高人类偏好评分。
• 提出 Contextual Alignment 训练技术，显式强化 contextual tokens 中的视觉语义信息，以提高生成质量与分布覆盖。

主要结果或产业意义

• contextual tokens 可作为 MM-DiT 内部动态的可解释视图。
• 也可作为改进生成模型的有效训练目标。
• 对生成模型调试、控制与对齐有潜在意义：把“隐藏上下文是否可读”与人类偏好和分布覆盖联系起来。
• 具体提升幅度、适用模型、数据集和评估指标待核实。

为什么重要

• 与既有卡片的关系：已有卡片分别涉及 ViT 令牌专门化、扩散表示学习中的优化轨迹调控、离散扩散中的因子级专家组合；本条不是重复这些结论，而是将“令牌角色与可解释性”延伸到 MM-DiT 生成过程中由文本令牌动态更新形成的 contextual tokens，并给出从读取到训练改进的路径。
• 增量信息包括：可用冻结 LLM 自然语言读取这些令牌；去噪早期即可读出未指定属性；空提示下仍可解码图像特异信息；可读性与人类偏好相关；并能反向作为训练对齐目标。
• 对多模态生成模型，这提示文本侧令牌不只是静态提示，而可能承载生成过程中的动态场景表征。

局限与不确定性

• 来源材料为标题、作者、分类与摘要，未给出实验设置、模型规模、数据集、基线、定量结果和统计检验，相关细节待核实。
• “轻量瓶颈网络”的结构、冻结 LLM 的型号、可读性指标、自然语言提问形式待核实。
• Contextual Alignment 的具体实现、训练成本、对哪些 MM-DiT 有效、是否影响多样性或保真度待核实。
• 文中“提高生成质量和分布覆盖”的幅度、评估协议与人类偏好评分细节待核实。
• 同行评审状态与可复现性信息待核实。

可用于图书/PPT/简报的角度

• “文本令牌作为动态上下文记忆”：提示词进入扩散 Transformer 后如何被反复改写。
• “用 LLM 当显微镜”：以自然语言审问生成模型隐藏状态。
• “可解释性不只是解释”：可读的 contextual tokens 与人类偏好、生成质量、分布覆盖相关，并可作为训练目标。
• “空提示下的图像特异信息”：视觉表示如何回流到文本侧令牌。
• 与 ViT 令牌专门化研究对照：不同架构中令牌如何承担语义与结构角色。

原始材料

• 英文标题：Learning to Read the Contextual Tokens in Diffusion Transformers
• 英文关键词（来源未提供独立关键词字段；以下为摘要中的英文关键词/术语）：contextual tokens; Multimodal Diffusion Transformers (MM-DiTs); natural-language interrogation; Contextual Alignment; human-preference scores; frozen Large Language Model (LLM)
• arXiv ID：2610.06844v1
• Authors：Omer Dahary, Etai Sella, Hadar Averbuch-Elor, Daniel Cohen-Or, Or Patashnik
• Published：2026-10-05T17:59:17Z
• Updated：2026-10-05T17:59:17Z
• Primary category：cs.CV
• Categories：cs.CV, cs.AI, cs.GR, cs.LG
• Abstract URL：https://arxiv.org/abs/2610.06844v1
• PDF URL：https://arxiv.org/pdf/2610.06844v1