知识卡片：DUET-DINO：面向机器人操控潜规划的同时跨视角世界建模

一句话结论

DUET-DINO 提出一种同时跨视角潜世界模型，联合利用侧视相机与腕部相机观测学习动作条件预测，以支持完整 7-DoF 末端执行器潜规划；在 reach、angled-reach、lift 任务上报告 92%、72.5%、60.0% 成功率，并优于单视角与独立双视角基线。上述结论来自 arXiv 摘要，实验平台、训练细节与复现状态待核实。

事件概述或研究问题

动作条件潜世界模型可以预测未来视觉表示，从而支持零样本、目标条件的机器人规划与控制。但摘要指出，这类模型对细粒度空间动作和旋转动作的预测不可靠，难以覆盖完整 7-DoF 末端执行器控制。

本文的研究问题是：如何通过跨视角条件建模，结合静态侧视相机提供的全局场景信息与腕部相机提供的夹爪中心信息，使潜世界模型在完整 7-DoF 动作空间上进行更可靠的潜规划。

方法/产品要点

• 模型名称：DUET-DINO（英文标题：DUET-DINO: Simultaneous Cross-View World Modeling for Latent Planning in Robot Manipulation）。
• 核心思路：同时跨视角潜世界模型，通过 cross-view conditioning 联合学习来自静态侧视相机和腕部相机的动作条件预测。
• 信息互补：利用 global scene 与 gripper-centric 信息，使潜规划覆盖完整 7-DoF 动作空间。
• 训练数据：摘要称从零开始训练于 DROID 和 RoboArena 数据集；具体子集、训练配置和规模待核实。
• 对比基线：单视角基线与独立双视角基线。
• 附加分析：摘要称 V-JEPA 2 的腕部视角预测会低估细粒度动作引起的视觉动态，而 DINOv3 预测能更好捕捉动作条件场景变化，并带来更强下游规划。
• 开源计划：摘要称代码和模型检查点将开源；当前可用性与发布状态待核实。
• 项目页：https://utn-air.github.io/DUET-DINO

主要结果或产业意义

摘要报告的结果包括：

• reach 任务成功率：92%；
• angled-reach 任务成功率：72.5%；
• lift 任务成功率：60.0%；
• 在空间多样的 reach、方向密集的 angled-reach、多目标 grasp-and-lift 任务上，DUET-DINO 一致优于单视角和独立双视角基线；
• 在视觉分布偏移下表现出鲁棒泛化；
• DINOv3 表征在动作条件场景变化预测上优于 V-JEPA 2 腕部视角预测，并带来更强下游规划。

产业意义方面，该工作指向机器人操控中的潜世界模型设计：跨视角同时建模可能比单视角或独立双视角更适合细粒度动作与完整 7-DoF 控制。但实际部署收益、真实机器人表现、推理时延与安全性等仍需核实。

为什么重要

• 它将世界模型从视觉预测推进到机器人操控中的动作条件潜规划，重点关注细粒度空间与旋转动作。
• 它强调侧视全局信息与腕部夹爪中心信息的互补性，可能缓解单视角模型对夹爪附近动态和方向变化建模不足的问题。
• 它比较了 V-JEPA 2 与 DINOv3 在腕部视角动作条件预测中的表现，涉及“用哪种视觉表征做世界模型”的关键问题。
• 与既有卡片的关系：已有 M⁴World 聚焦驾驶场景的多视角多模态长时流，ELWM 聚焦物理一致的开世界运动规划，手术世界-动作工作聚焦手术运动规划。本条的增量在于机器人机械臂操控、侧视/腕视同时跨视角建模、完整 7-DoF 动作空间潜规划，以及对 V-JEPA 2 与 DINOv3 预测差异的分析。

局限与不确定性

• 本文材料仅为 arXiv 摘要与元数据，实验平台是仿真还是真实机器人、任务定义、动作空间细节均待核实。
• 训练于 DROID 和 RoboArena 的具体数据规模、预处理、训练超参数与算力成本待核实。
• 单视角、独立双视角基线的具体实现与公平性控制待核实。
• “generalizes robustly under visual distribution shifts”的偏移类型、评估协议与统计显著性待核实。
• 成功率数字对应的评估次数、随机种子、失败模式与安全约束待核实。
• 代码和模型检查点“将开源”的当前状态待核实。
• V-JEPA 2 与 DINOv3 的比较设置、是否控制变量、是否适用于其他机器人平台待核实。
• 结论能否外推到通用机器人操控、长时任务与开放环境，待核实。

可用于图书/PPT/简报的角度

• 跨视角世界模型：侧视全局场景与腕部夹爪中心视角如何互补。
• 7-DoF 操控规划的难点：细粒度空间动作与旋转动作为何难预测。
• 潜世界模型与零样本目标条件规划：从视觉表示预测到下游控制。
• 视觉表征选择：DINOv3 与 V-JEPA 2 在动作条件动态预测中的差异。
• 消融叙事：单视角、独立双视角、同时跨视角条件建模的区别。
• 开源与复现：DROID、RoboArena 训练，代码与检查点发布状态待核实。
• 与驾驶世界模型、导航世界模型、手术世界-动作模型的横向对比：不同场景下“多视角/跨视角”设计的迁移价值。

原始材料

• 英文标题：DUET-DINO: Simultaneous Cross-View World Modeling for Latent Planning in Robot Manipulation
• arXiv ID：2609.10506v1
• 摘要页：https://arxiv.org/abs/2609.10506v1
• PDF：https://arxiv.org/pdf/2609.10506v1
• 项目页：https://utn-air.github.io/DUET-DINO
• 作者：Nisarga Nilavadi, Ralf Römer, Moritz Reuss, Michael Krawez, Tobias Jülg, Angela P. Schoellig, Rudolf Lioutikov, Wolfram Burgard
• 发布/更新：2026-09-09T17:41:38Z
• 分类：cs.RO；cs.CV
• 英文关键词：action-conditioned latent world models; cross-view world modeling; latent planning; robot manipulation; 7-DoF end-effector control; DROID; RoboArena; V-JEPA 2; DINOv3