知识卡片:π0.7——具备涌现能力的可引导机器人基础模型
一句话结论
π0.7 是 Physical Intelligence 发布的一个通用机器人基础模型,其在未经微调的情况下即可执行多种灵巧操作任务,并展现出组合泛化(compositional generalization)的初期迹象——能够将训练中学到的技能重新组合,解决完全未见过的任务(如使用新家电、在从未训练过的机器人上叠衣服)。
事件概述或研究问题
- 该模型于 2026 年 4 月 16 日发布。
- 核心问题:如何构建一个真正的通用机器人模型,使其具备类似大语言模型(LLM)那样的组合泛化能力——即在训练数据中从未直接出现的任务上,也能通过重组已有技能来解决问题。
- 此前机器人基础模型虽能理解语义概念,但通常需要对特定技能进行微调才能达到最佳性能;π0.7 尝试打破这一局限。
方法/产品要点
- 多模态提示框架(Multimodal Prompting):模型训练时使用多种提示结构,不仅描述任务“是什么”,还描述“如何做”。提示类型包括:
- 多样化语言指令(描述任务及子步骤)
- 元数据(如速度、质量等执行方式信息)
- 控制模态标签(关节控制或末端执行器控制)
- 视觉子目标图像(由轻量级世界模型在测试时生成,展示当前子步骤结束时应呈现的视觉状态)
- 数据整合:利用上述多样化提示,π0.7 能融合多种异构数据源(不同机器人、人类演示、自主收集的数据等),即使其中包含次优自主评估数据,也可通过标注相应元数据(如低质量/慢速)加以利用。
- 架构:Vision-Language-Action(VLA)模型,包含观测编码、记忆模块、提示编码、动作专家等组件;推理时还可通过高级策略(high-level policy)生成语言子目标。
主要结果或产业意义
- 在多种灵巧操作任务上达到了与先前专门微调的专家模型(如 π*0.6)同等的速度和鲁棒性,无需任何微调。
- 展示了组合任务泛化:例如让机器人使用空气炸锅烹饪红薯——该任务在训练数据中无直接演示。仅通过零样本提示,机器人能做出部分尝试但未完全完成;通过逐步语言引导(语言辅导),机器人能成功完成任务;多次语言辅导后,可微调出高级策略,使机器人完全自主执行。
- 展示了跨实体迁移:训练集中含数据极少的双臂 UR5e 系统(工业双臂+平行爪夹),在机器人从未有叠衣物训练数据的情况下,π0.7 能够稳定地在 UR5e 上执行叠衣物任务。
- 模型能响应多样化、精确的语言指令进行交互式控制。
为什么重要
- 这是机器人基础模型首次展现出类似 LLM 的组合泛化能力,标志着从“专用微调”向“真正通用”的关键一步。
- 通过多模态条件化训练,模型可以融合更多样化的数据源(包括人类视频、自主数据等),突破了以往模型对精细数据准备的需求。
- 实际意义:用户可通过自然语言“教会”机器人新任务,无需重新收集数据或繁琐编程,大幅降低部署门槛。
局限与不确定性
- 组合泛化仍处于初期阶段:在复杂新任务(如空气炸锅烹饪)上,零样本提示时机器人只能完成部分操作,需逐步语言引导或微调高级策略才能彻底完成。
- 模型对特定任务的理解来源难以精确定位:例如“空气炸锅”的知识可能来自机器人训练集和网络规模视觉-语言预训练的组合,具体贡献比例待核实。
- 文中仅展示了部分场景,整体泛化边界(如极端新任务、全新机械构型等)尚待进一步公开实验验证。
- 训练数据的具体构成、规模、以及多模态注释的获取成本未详细披露。
可用于图书/PPT/简报的角度
- AI 里程碑:π0.7 是机器人基础模型从“专用”到“通用”的跃迁案例,可与 LLM 的涌现能力类比,适合讨论 AI 在物理世界中的泛化进展。
- 技术原理:多模态条件化训练如何让模型学会组合技能——视觉子目标、语言、元数据的联合使用,适合在技术分享中讲解。
- 产业影响:无需微调即可跨平台、跨任务操作,可能改变物流、家庭服务、制造业中机器人的部署方式。
- 演示素材:空气炸锅任务(零样本→引导→自主)的对比案例生动体现了能力阶梯,适合幻灯片展示。
原始材料
- 来源:Physical Intelligence 官方博客
- URL:https://www.physicalintelligence.company/blog/pi07
- 英文标题:π0.7 : a Steerable Model with Emergent Capabilities
- 英文关键词:robotic foundation model, compositional generalization, multimodal prompting, VLA, cross-embodiment transfer, steerable AI
- 发布日期:April 16, 2026
- 研究团队:Bo Ai 等(见原文作者列表)
- 发布机构:Physical Intelligence(π)