知识卡片：流式多智能体自回归扩散模型与世界状态寄存器

英文标题：Streaming Multi-Agent Autoregressive Diffusion Model with World State Registers
英文关键词：streaming multi-agent video diffusion；world state registers；Mixture-of-Transformers；Minecraft

一句话结论

WorldWeaver 通过引入跨智能体共享的世界状态寄存器（world state registers），在流式生成多智能体视频时显式维护世界状态，从而提升逻辑一致性和生成质量。

事件概述或研究问题

多智能体交互世界模型不仅需要生成一致的观测帧，还需要维护跨智能体、跨视角演化的世界状态。现有自回归视频扩散模型仅将历史观测作为条件上下文，难以在多人/多视角场景中保持共享状态。本文提出 WorldWeaver，利用可学习的寄存器 token 存储共享世界信息并追踪个体智能体状态，在每生成一段视频后动态更新这些寄存器。

方法/产品要点

• 世界状态寄存器：一组可学习的 token，用于编码全局世界信息和每个智能体的个体状态。在生成过程中，寄存器被持续更新。
• 监督信号：寄存器通过多种损失进行训练，包括个体智能体状态（如位置、朝向）、全局状态视图（如鸟瞰图）以及场景文本描述。
• 模型架构：采用 Mixture-of-Transformers 设计，将世界状态建模与视觉帧建模的权重分离，分别由不同的 Transformer 模块处理。
• 生成方式：流式自回归扩散，每生成一个视频块就更新一次寄存器，使后续生成能参考最新的世界状态。

主要结果或产业意义

在双智能体 Minecraft 视频生成任务上，显式建模世界状态显著提升了生成的逻辑一致性（如物体交互、智能体位置关系）和画质。具体指标待核实，但摘要表明相比基线有明显改进。

为什么重要

多智能体与多视角视频生成是交互式世界模型的关键能力，WorldWeaver 首次通过显式可学习寄存器来维持世界状态，而非仅依赖隐式历史上下文。该方法为开放世界游戏、机器人仿真、自动驾驶等需要多智能体协同感知与预测的场景提供了新思路。

局限与不确定性

• 实验仅限双智能体 Minecraft 场景，泛化到更多智能体或更复杂环境的能力待核实。
• 寄存器的更新机制可能与具体视觉编码器耦合，可迁移性待核实。
• 未提及计算开销与推理速度，与纯自回归方法的效率对比待核实。

可用于图书/PPT/简报的角度

• 世界模型中的“记忆”设计：如何用可学习 token 替代隐式历史上下文。
• 多智能体协同生成：从独立生成到共享状态池的范式转变。
• 扩散模型与 Transformer 的混合架构：MoT 的设计动机与效果。

与既有脉络的关系

本条卡片是对多智能体视频生成工作流的补充。与 M⁴World（多视角多模态驾驶世界模型）相比，WorldWeaver 侧重于基于游戏环境（Minecraft）的多智能体交互，且显式引入了可学习的“世界寄存器”而非仅依靠多模态融合。与 HumanForge（深度伪造基准）无关。与基于离散扩散的语音识别模型无关。

原始材料

• 论文标题：Streaming Multi-Agent Autoregressive Diffusion Model with World State Registers
• 论文 URL：https://arxiv.org/abs/2607.21594v1
• 类别：cs.CV, cs.AI, cs.LG
• 摘要及元数据如上。正文未成功抓取，以上信息均来自摘要及标题，部分细节待核实。