知识卡片：该合并哪些 Token？用于高效图像生成的扩散动力学

一句话结论

DaTMe 提出一种无需训练的 token 合并框架，用扩散去噪过程中的动力学信号（时序变化 + 结构高频信息）决定哪些 token 可以安全合并，从而在加速生成的同时避免只保护 prompt 对齐前景而导致的背景与局部细节退化。

事件概述或研究问题

• 论文标题：Which Tokens to Merge? Diffusion Dynamics for Efficient Image Generation
• 作者：SeungJu Cha, Ye-Chan Kim, HyunGee Kim, Sungho Koh, Dong-Jin Kim
• 发表信息：arXiv 2610.22370v1，2026-10-15，主分类 cs.CV
• 研究问题：Token 合并是加速扩散模型的一种有效免训练策略，核心难题是判断哪些 token 可以安全合并、哪些应保留。已有方法通过保留 prompt 对齐的前景区域来保护语义相关结构，但这一“文本相关性”准则忽略了 prompt 未明确提及的背景物体与局部细节，导致结构连贯性下降。
• 核心主张：token 重要性应反映该 token 在去噪过程中是否仍未稳定，以及是否携带结构信息，而不仅仅取决于它是否与文本 prompt 对齐。

方法/产品要点

• 提出 Dynamics-aware Token Merging（DaTMe），一个无需训练的框架，把 token 合并决策建立在底层扩散动力学之上。
• 从 Tweedie 去噪估计构建“动力学感知重要性图”（dynamics-aware importance map）。
• 该重要性图融合两类信号：
  • 时序信号（temporal signal）：衡量预测的干净图像在相邻去噪步骤之间的变化。
  • 结构信号（structural signal）：捕捉局部高频内容，如边界与细节。
• 在给定压缩率下，DaTMe 自适应地为 token 分配合并角色：
  • 重要 token 作为 anchors（锚点）被保留。
  • 同时满足“时序上已稳定”且“结构上同质”的 token 被选为安全的合并候选。
• 代码地址：https://github.com/SeungJuCha/DaTMe

主要结果或产业意义

• 在 PixArt-a 与 FLUX 上的实验表明，DaTMe 能在整幅图像范围内维持视觉保真度。
• 论文强调，扩散动力学可作为高效的 token 级合并决策依据，用于高效生成。
• 产业意义：为免训练推理加速提供了不依赖文本对齐的新判据，可能对需要高吞吐图像生成、且关注背景与细节一致性的部署场景有价值。

为什么重要

• 现有免训练 token 合并常以 prompt 对齐的前景为保护重点，容易牺牲背景物体与未被提示的局部细节；DaTMe 把判据从“文本相关性”转向“去噪动力学 + 结构信息”，试图覆盖全图保真。
• 它把 token 合并与扩散过程本身的状态（是否已收敛、是否携带结构）直接绑定，为“哪些 token 可安全压缩”提供了过程性依据。

局限与不确定性

• 论文仅在 PixArt-a 与 FLUX 上报告实验，是否适用于其他扩散架构、视频扩散或不同分辨率设定，待核实。
• 摘要未给出具体加速比、压缩率范围、评测指标数值与基线对比细节，待核实。
• 未说明动力学感知重要性图的计算开销是否抵消了 token 合并带来的加速收益，待核实。
• 未说明对极端压缩率、复杂多物体场景或长 prompt 的鲁棒性，待核实。

可用于图书/PPT/简报的角度

• “从文本对齐到过程感知”：token 压缩判据的演进线索。
• 免训练推理加速：如何在不重训模型的前提下减少冗余 token 计算。
• 扩散动力学作为决策信号：Tweedie 估计与相邻步变化如何被用作重要性度量。
• 结构保真 vs 语义保真：为什么只保护 prompt 前景会损害背景与局部细节。

与既有脉络的关系

现有卡片多聚焦于测试时优化、奖励模型或音乐生成表征，本条与其不重复；若需串联，可将其视为“免训练推理加速 / token 级效率”方向的一条新证据，与参考一致性优化、奖励模型等属不同子问题，增量信息在于用扩散动力学而非文本相关性决定 token 合并。

原始材料

• arXiv URL: https://arxiv.org/abs/2610.22370v1
• PDF URL: https://arxiv.org/pdf/2610.22370v1
• Code: https://github.com/SeungJuCha/DaTMe
• 标题：Which Tokens to Merge? Diffusion Dynamics for Efficient Image Generation
• 作者：SeungJu Cha, Ye-Chan Kim, HyunGee Kim, Sungho Koh, Dong-Jin Kim
• 发表时间：2026-10-15T17:59:35Z（更新同）
• 分类：cs.CV