知识卡片:Ropedia W0——利用人类经验扩展跨具身的移动操作世界模型
一句话结论
Ropedia W0 提出首个覆盖人类与多种机器人具身的自我中心(egocentric)移动操作世界基础模型,通过统一运动学表示与大规模人类/机器人混合数据,在多个跨具身基准上取得领先表现,并验证了“扩展人类预训练数据能同时提升人类与机器人评测”的缩放规律。
事件概述或研究问题
- 研究问题:世界模型可让具身智能体预判动作后果,但跨多样具身联合建模“移动(locomotion)+操作(manipulation)”面临两大障碍:动作空间异构,以及多模态监督数据有限。
- 论文主张:构建一个统一的、以自我中心视角为主的移动操作世界基础模型,同时覆盖人类与不同构型的机器人,并用人类经验数据来扩展模型能力。
- 发布信息:arXiv 2610.26855v1,主分类 cs.CV,交叉 cs.RO,发布时间 2026-10-19。
方法/产品要点
- 数据(Xp-Data):约 1 万小时自我中心人类数据 + 3 千小时机器人数据,带统一多模态标注与系统性质量控制。
- 统一运动学表示:移动通过相机位姿(camera poses)编码,操作通过投影骨架(projected skeletons)编码;机器人骨架由“具身特定的前向运动学 + 大量人工关键点标注与修正”组合而成。
- 基准(Xp-Teleop):基于高质量灵巧人形遥操作数据构建的长时程移动操作基准。
- 模型能力:支持从零样本推理到少样本、全数据后训练;蒸馏后支持实时、分钟级长rollout,可进行实时 VR 交互。
- 应用方向:策略评估、基于模型的规划、世界-动作建模。
主要结果或产业意义
- 在五个跨具身基准(DreamDojo、Ψ₀、ω-HOME、Xp-Teleop、AgiBot)以及留出的人类自我中心视频上均报告了当时最优(state-of-the-art)表现。
- 缩放发现:扩展人类预训练数据可提升人类与机器人两侧的评测表现,为“用人类数据补足机器人数据稀缺”提供实证支持。
- 蒸馏后具备实时、分钟级生成能力,并支持实时 VR 交互,指向世界模型作为交互式具身仿真/评估工具的产业用途。
为什么重要
- 把“移动”与“操作”纳入同一个世界模型,而非分开建模,贴近真实移动操作任务的耦合特性。
- 跨人类与多机器人具身的统一表示,为利用海量人类视频数据训练机器人世界模型提供了可操作路径。
- 同时给出数据、基准与模型,并覆盖零样本到后训练的完整评测谱系,便于后续工作复现与对比。
局限与不确定性
- 论文摘要未给出各基准上的具体数值与提升幅度,待核实。
- 机器人骨架依赖“大量人工关键点标注与修正”,其标注成本与可扩展性待核实。
- 实时性来自蒸馏后的模型,蒸馏带来的精度损失程度待核实。
- 五个基准的具体任务构成、评测协议与基线设置待核实。
- 真实机器人闭环部署(而非仅策略评估/规划)的效果待核实。
可用于图书/PPT/简报的角度
- “人类数据 Scaling Law 迁移到机器人”:用人类自我中心数据扩展机器人世界模型能力的实证案例。
- “统一运动学表示”作为跨具身建模的关键设计:相机位姿管移动、投影骨架管操作。
- 世界模型作为具身决策基础设施:策略评估、基于模型的规划、世界-动作建模三合一。
- 实时 VR 交互式世界模型:从离线视频生成走向可交互仿真。
与既有脉络的关系
- 与《面向真实世界移动操作的分层残差策略学习》同属“移动操作(MoMa)”主题,但本条聚焦世界模型与跨具身数据缩放,而非真实机器人上的策略微调框架,二者互补而非重复。
- 与多玩家交互世界模型、MASS 等卡片同属“世界模型”脉络,但本条的对象是单智能体跨具身的移动操作预测,不涉及多玩家共享状态与视角解耦。
原始材料
- 标题:Ropedia W0: Scaling Loco-Manipulation World Models across Embodiments with Human Experience
- 作者:Tianqi Liu, Hanfei Zhao, Qifeng Liang, Hui En Pang, Jiarui Xu, Sayang Mu, Penghao Qiu, YingSheng Zhang, Jun Wang, Ziang Cao, Mingze Sun, Yukang Cao, Fangzhou Hong, Zhaoxi Chen, Ziwei Liu
- arXiv:https://arxiv.org/abs/2610.26855v1
- PDF:https://arxiv.org/pdf/2610.26855v1
- 关键词:world model;loco-manipulation;cross-embodiment;egocentric data;humanoid teleoperation;kinematic representation
发现内容有误?
免登录提交,管理员审核并完成修正后才会公开修订说明。
值得关注
把“移动”与“操作”纳入同一个世界模型,而非分开建模,贴近真实移动操作任务的耦合特性。 跨人类与多机器人具身的统一表示,为利用海量人类视频数据训练机器人世界模型提供了可操作路径。 同时给出数据、基准与模型,并覆盖零样本到后训练的完整评测谱系,便于后续工作复现与对比。
相关主题
对应的教材知识点
根据卡片内容自动匹配,点击查看已审核的教材讲解: