知识卡片：从仿真生成感知驱动的类人运动

一句话结论

HALO 通过在约一千个程序化生成的家庭场景中合成“视觉-语言-运动”配对数据，把类人机器人数据规模从依赖人工遥操作转向依赖算力，并在未见过的真实家庭中实现零样本迁移，360 次试验成功率 91%。

事件概述或研究问题

类人机器人具备自动化大量物理任务的潜力，但通向通用自主性的关键瓶颈是数据：把像素和自由形式语言映射到低层关节指令需要成对的监督数据，而目前不存在足够大规模的这种语料。部分路线依赖人类遥操作与可穿戴捕捉设备，产出 1 小时数据至少需要 1 小时人类时间。本文提出 HALO，试图用仿真合成数据替代人力采集，回答“能否仅靠仿真数据训练出可零样本迁移到真实世界的类人自主系统”这一问题。

方法/产品要点

• 数据管线：在约一千个程序化生成的家庭中合成视觉-语言-运动数据，语料规模随算力扩展而非人力扩展。
• 技能库：HALO 习得一组物理技能，包括坐椅子、导航到指定名称物体、侧身通过半开门、在桌下蹲伏与爬行、推箱子。
• 任务编排：将上述技能组合起来求解复合、长时程任务。
• 训练与迁移：训练期间从未见过真实家庭，直接零样本迁移到物理世界。

主要结果或产业意义

在六个未建图的真实环境中进行 360 次试验，成功率为 91%。作者同时提供了项目页面（含代码与视频）：https://apple-aiml-research.github.io/ml-halo/ 。产业意义在于：若数据瓶颈可由仿真算力而非人力采集来突破，类人机器人的技能扩展路径将更接近基础模型的规模化范式——用生成数据覆盖长尾场景，再以零样本迁移验证真实性差距。

为什么重要

• 直接针对类人机器人自主性的核心约束（配对监督数据稀缺），给出“算力换人力”的替代方案。
• 零样本从仿真到真实家庭的成功率数字，为“仿真训练是否够用”提供了可检验的证据点。
• 技能组合求解长时程任务，说明系统不止于单一动作，而是面向复合任务编排。

局限与不确定性

• 91% 成功率对应的任务分布、失败模式分类与试验设置细节，摘要未展开，待核实。
• “程序化生成的家庭”与真实家庭在视觉与物理多样性上的差距程度，待核实。
• 技能清单之外的能力边界（如涉及更复杂接触或 deformable 物体的任务）未在摘要中说明，待核实。
• 系统对硬件平台、传感器配置的依赖未在摘要中给出，待核实。

可用于图书/PPT/简报的角度

• “数据瓶颈的两种解法”：人类遥操作采集 vs 仿真合成，用“1 小时对 1 小时”的对比作切入。
• “算力可扩展的数据飞轮”：程序化生成场景如何让数据规模跟随算力增长。
• “零样本迁移作为试金石”：用 91%/360 次/6 个未建图环境这一组数字讨论 sim-to-real 的现状与剩余差距。
• “技能库 + 编排”的系统架构视角：从单一技能到长时程复合任务的组合方式。

原始材料

• 标题：Perceptive Humanoid Motion from Simulation
• 作者：Siyuan Hu, Abulikemu Abuduweili, Yue Meng, Shipeng Liu, Quentin Leboutet, Chen Chen, Matthias Müller, Vladlen Koltun
• arXiv ID：2611.06908v1（Submitted 2026-11-04）
• 主分类：cs.RO；交叉分类：cs.AI, cs.CV, cs.LG
• 摘要页：https://arxiv.org/abs/2611.06908v1
• PDF：https://arxiv.org/pdf/2611.06908v1
• 项目页：https://apple-aiml-research.github.io/ml-halo/