知识卡片：WOVEN——将视觉世界建模编织进多模态大模型

一句话结论

WOVEN 提出把“视觉转移推理”（visual transition reasoning）作为多模态大模型（MLLMs）的共享训练原语与基准，用生成模型产出的多样化 rollout 进行监督，在约 2,000 条子集训练下即可广泛迁移到 26 个外部基准中的 22 个，最高提升 27.3 个百分点。

事件概述或研究问题

多模态大模型在空间、具身、物理与时间推理上表现不佳。作者假设这些失败反映了一个共同的缺陷：视觉转移推理能力不足，并检验该能力能否作为可跨任务复用的共享训练原语。现有基准通常分别记录这些缺陷，但不支持跨场景、动作与推理操作的受控比较，因此作者构建了 WOVEN 作为训练来源与基准。

方法/产品要点

• 数据构建：使用视频预训练生成模型的多样、真实 rollout，共 36,076 个样本，覆盖 20 种场景类型、5 种动作类型、8 种推理类型。
• 组织方式：按场景、动作与推理类型组织转移监督，支持受控比较。
• 评估：先评测 38 个前沿 MLLM（如 GPT-5.4、Qwen3-VL-235B-A22B）。
• 训练：在多个规模上对 MLLM 进行 WOVEN 训练，并做受控对比以提炼训练配方。
• 训练配方结论：应依据“监督所教的推理操作”而非其展示的动作、场景或领域来选择监督；偏好视觉状态变化更大的样本以提升鲁棒性。

主要结果或产业意义

• 系统性缺陷：即便是最强模型也远低于人类水平；失败跨模型家族反复出现，并随规模扩大而持续。
• 广泛迁移：每个约 2,000 条的训练子集，合计使 26 个外部基准中的 22 个得到改善，最高提升 27.3 个百分点。
• 数据替代：WOVEN 数据可替代某任务自身 30–50% 的训练数据，并保持可比精度。
• 配方验证：训练配方在留出基准上做了前瞻性验证。

为什么重要

该工作把视觉转移推理确立为 MLLM 视觉世界模型训练的可复用基础，提供了一条系统性训练配方，而非仅记录单项缺陷。它暗示不同监督来源可以共同教会同一底层能力，并可在任务间复用。与既有卡片的关系：本条聚焦“把视觉转移推理作为共享训练原语与基准”的训练方法论与迁移证据；MVA 侧重像素空间控制接口，MMCS 侧重对象级对齐预训练，手术世界-动作建模侧重联合视觉-轨迹预测，三者关注点不同，可互补阅读。

局限与不确定性

• 生成模型 rollout 的真实性与覆盖偏差未在材料中说明，待核实。
• 训练配方在更多模型规模、模态与任务上的普适性待核实。
• “最强模型远低于人类”的具体人类基线设置与数值待核实。
• 22/26 基准中未提升的 4 个基准及原因待核实。

可用于图书/PPT/简报的角度

• 把“视觉转移推理”作为多模态世界模型训练的共享基座能力来讲述。
• 用“2,000 条子集→22/26 基准提升、最高 +27.3 个百分点”说明数据效率与迁移性。
• 用“替代 30–50% 任务自有数据”说明训练数据复用价值。
• 提炼训练配方原则：按推理操作选监督，优先大视觉状态变化。

原始材料

• 标题：WOVEN: Weaving Visual World Modeling into Multimodal LLMs
• arXiv ID：2610.12417v1
• 作者：Zheyu Fan, Yue Zhang, Mingkai Deng, Kangrui Wang, Qineng Wang, Canyu Chen, Jie Hao, Xing Fan, Chenlei Guo, Eric P. Xing, Mohit Bansal, Manling Li
• 发布：2026-10-08T17:52:03Z
• 主分类：cs.CV；分类：cs.CV, cs.CL, cs.LG
• Abstract URL：https://arxiv.org/abs/2610.12417v1
• PDF URL：https://arxiv.org/pdf/2610.12417v1
• 关键词：WOVEN；visual transition reasoning；multimodal LLMs；visual world modeling；training primitive；benchmark