知识卡片：Perceive, Predict, and Plan——面向第一视角灵巧操作的统一世界动作模型

一句话结论

P³-WAM 通过一个共享权重的混合 Transformer 架构，把第一视角灵巧操作中的 3D 手部感知、动作条件预测与目标导向规划统一到同一个世界动作模型中，并用随机模态可见性让视频与 3D 动作在不同模式下互为条件或预测目标。

事件概述或研究问题

• 论文标题：Perceive, Predict, and Plan: a Unified World Action Model for Egocentric Dexterous Manipulation
• arXiv ID：2610.22363v1（cs.CV，交叉 cs.RO），发布时间 2026-10-15。
• 研究问题：能否让单一模型同时承担第一视角灵巧操作中的三种互补能力——从视频重建手部运动与相机轨迹（Perceive）、在给定动作下生成视觉未来（Predict）、以及根据初始图像、语言指令和可选视觉目标联合生成动作轨迹与其视觉后果（Plan）。
• 作者：Zirui Wu, Chen Guo, Tianjian Jiang, Zeren Jiang, Zeming Li, Lingchen Yang, Longteng Duan, Ying Xue, Handi Yin, Shenyuan Gao, Martin R. Oswald, Jun Zhang, Ping Tan, Jie Song。

方法/产品要点

• 三种模式：
  • Perceive：从视频重建关节化手部运动与相机轨迹。
  • Predict：在指定动作下生成视觉未来。
  • Plan：以初始图像、语言指令和可选视觉目标为条件，联合生成动作轨迹及其预期视觉后果。
• 架构：将紧凑的结构化 3D 动作表示集成进预训练视频扩散 Transformer，采用 mixture-of-transformers 结构，包含共享基础权重、模态特定适配以及双向视觉-动作注意力。
• 训练机制：随机模态可见性（randomized modality visibility），使视频与 3D 动作在三种模式下既可以作为条件上下文，也可以作为预测目标。

主要结果或产业意义

• 统一训练相比单模式训练提升了全部三种能力，包括在视觉-语言模型评估下的规划质量提升。
• 统一训练后，模型在四个数据集上的 3D 手部重建与动作条件视频预测上超过专门化基线。
• 在目标导向的操作视频生成上，相比视频生成基线表现出更强的指令遵循与动作推进。
• 项目页面：https://p3-wam.pages.dev/

为什么重要

• 该工作尝试把“感知—预测—规划”从三个分离模块整合为一个统一的世界动作模型，为第一视角灵巧操作提供端到端的一体化范式。
• 通过随机模态可见性与双向视觉-动作注意力，模型在训练中同时学习“由动作生成视觉”和“由视觉推断动作”，这种双向性可能是统一训练带来多能力增益的关键机制。
• 与既有工作相比的增量：已有卡片中的 DexTacWAM 强调触觉作为被预测的世界状态、FlowWAM 强调光流动作表示、M⁴World 强调多视角多模态驾驶世界模型；P³-WAM 的差异点在于把灵巧操作的 3D 结构化动作表示与视频扩散 Transformer 结合，并在单一模型内统一三类任务模式。

局限与不确定性

• 摘要未给出具体量化指标（如重建误差、规划成功率等），实际提升幅度待核实。
• 四个数据集的具体构成、是否覆盖真实机器人平台、是否包含双臂或触觉模态，摘要未说明，待核实。
• “vision-language model evaluation”的具体评估协议与指标待核实。
• 是否已在真实机器人上闭环执行，还是仅停留在视频/轨迹生成评估，待核实。

可用于图书/PPT/简报的角度

• “一个模型，三种模式”：用 Perceive / Predict / Plan 三段式说明统一世界动作模型的能力划分。
• 统一训练 vs 单模式训练：可用来讨论多任务/多模态联合训练对单任务能力的反哺效应。
• 随机模态可见性：一个可复用的训练技巧，让同一对模态在不同样本中交换“条件”与“目标”角色。
• 第一视角灵巧操作中的 3D 动作表示设计：如何把结构化动作嵌入视频扩散 Transformer。

原始材料

• 标题：Perceive, Predict, and Plan: a Unified World Action Model for Egocentric Dexterous Manipulation
• arXiv：https://arxiv.org/abs/2610.22363v1
• PDF：https://arxiv.org/pdf/2610.22363v1
• 项目页面：https://p3-wam.pages.dev/