知识卡片：从全局到逐因子专家组合：离散扩散模型中的因子级组合框架

一句话结论

FactorDiff通过将样本分解为更小的因子（如像素），并动态地将每个因子路由至最相关的预训练专家，在需要逻辑一致性和空间解耦的任务上，持续优于现有的基于全局标量加权的专家组合方法。

事件概述或研究问题

离散扩散模型通过组合多个预训练专家（compositional generation）来实现超出单个训练数据的泛化能力。最近的理论工作引入了时间依赖的混合权重，以更好地对齐组合扩散动力学与目标分布。然而，这些方法以整个样本为单位工作，将生成的每个状态视为一个整体，忽略了不同专家在空间或功能上的专长。本研究旨在解决这一根本限制，提出逐因子（factor-wise）的专家组合机制。

方法/产品要点

• FactorDiff框架：提出将样本进一步分解为更小的因子（factors），并设计一个采样过程，动态地将每个因子路由至最相关的专家。
• 实例化：论文以空间/像素级组合作为具体实例，即每个像素被视为一个因子，由特定的专家模型负责生成。
• 验证基准：在ARC-AGI（抽象与推理语料库-通用智能）基准上进行验证。
• 对比对象：与复杂的全局标量加权方案（global scalar weighting schemes）进行对比。

主要结果或产业意义

在ARC-AGI基准上，简单的因子特定路由（factor-specific routing）在需要逻辑一致性和空间解耦的任务上，持续优于复杂的全局标量加权方法。这证明了将样本分解并独立路由的策略在结构化推理任务中的有效性。

为什么重要

该工作将从全局加权（global）转向逐因子路由（factor-wise），这一范式转变承认并利用了专家模型在生成过程中内在的空间或功能专业化。它为离散扩散模型在复杂推理和合成任务上的应用提供了更精细、可扩展的控制手段，尤其是在需要局部一致性和整体逻辑协调的场景中。

局限与不确定性

• 论文仅以空间/像素级组合进行实例化，对于其他类型的因子分解（如语义因子、功能模块）的效果待核实。
• 动态路由机制的通用性、计算开销以及对更大规模专家组合的扩展性待进一步验证。
• 该方法是否完全取代或仅补充现有的时间依赖混合权重方法，待核实。

可用于图书/PPT/简报的角度

• 范式转变图示：绘制“全局标量加权 vs. 逐因子动态路由”的对比示意图，清晰展示专家模型如何从整体影响变为局部精确控制。
• ARC-AGI案例展示：选取ARC-AGI中的一个具体任务，展示全局方法失败而FactorDiff成功的例子，说明像素级路由如何实现逻辑一致性。
• 可扩展性方向：讨论该方法如何推广至文本生成（字词分解）、多模态生成（模态因子分解）等场景。

与既有脉络的关系

与已有卡片中的“视觉语言模型失败归因”和“RGB生成到稠密预测”不同，本卡片专注于扩散模型专家组合的策略创新，是离散扩散模型理论和应用方向上的增量进展，提供了从样本级到因子级的关键改进。

原始材料

• 论文标题: From Global to Factor-Wise Expert Composition in Discrete Diffusion Models
• arXiv链接: https://arxiv.org/abs/2607.11758v1
• 英文关键词: Discrete Diffusion Models; Compositional Generation; Expert Composition; FactorDiff; Factor-wise Composition; ARC-AGI