知识卡片：预训练懂“做什么”，仿真教“怎么做”——仿真训练机器人代理的组合泛化

一句话结论

ZAP（Zero-real Agent Policy）提出一种“工具调用式”配方：用预训练大模型提供世界理解与推理，再用简单仿真任务教小模型如何操控机器人；在不使用任何真实机器人数据训练的情况下，据称在真实任务上达到 96.7% 成功率，并能泛化到训练中未出现的物体、目标、策略与语言，甚至迁移到未见过的机器人形态——以上数据均来自摘要元数据，正文细节待核实。

事件概述或研究问题

• 机器人策略需要同时具备两种能力：理解场景中“任务要什么”（what），以及“如何移动机器人完成它”（how）。
• 论文试图回答：能否把“世界理解/推理”与“动作技能”解耦，前者由预训练模型承担，后者由仿真中的强化/监督学习教会，从而摆脱对真实机器人数据的依赖？
• 关键主张是组合泛化：在仿真中学会的运动技能，与预训练模型的理解能力组合后，可应对训练分布外的新目标与新操作类型。

方法/产品要点

• 提出 ZAP（Zero-real Agent Policy）：教一个小型现成视觉-语言模型通过简单的“工具 harness”控制机器人。
• 两阶段思路：先用一个预训练的 27B 参数模型“启动”世界理解与推理能力；再通过监督微调（SFT）与 GRPO，在简单仿真任务上教它如何移动机器人。
• 训练全程不使用真实机器人数据（“Zero-real”）。
• 评测对比对象包括 GPT-6 Astra（同一 harness 下）与 MolmoAct2 VLA。
• 泛化测试任务（据摘要）：把试管放入架中（并可按提示选择不同孔位）、双臂空中交接试管、在井字棋盘上画 X、下棋。
• 迁移测试：在单臂 Franka 上评测 RoboLab-120。
• 注：harness 的具体形态、SFT/GRPO 的数据规模与超参、仿真环境名称等均待核实。

主要结果或产业意义

（以下数字均引自摘要，实验设置与统计口径待核实）

• 真实世界任务成功率 96.7%，在同一 harness 下与 GPT-6 Astra 持平。
• 优于 MolmoAct2 VLA（33.3%）。
• 相比 GPT-6 Astra 运行速度快 3 倍、成本低 17 倍。
• 泛化：上述四类新目标/新操作类型均不在训练数据中出现，仍可完成。
• 跨形态迁移：单臂 Franka 上 RoboLab-120 达 55.9%，比领先的 VLA/WAM 基线高 4.9 个百分点。
• 产业意义：若结果可复现，意味着“小模型 + 仿真技能训练 + 大模型蒸馏式启动”可能是一条低成本、可跨形态复用的机器人策略路线，并显著降低对真实机器人采数与人形/单臂硬件绑定的依赖。

为什么重要

• 对“基础模型 + 机器人”路线的一个关键分歧点给出实证：理解能力可以预训练获得，动作技能可以在仿真中获得，二者组合即可产生组合泛化。
• 与 π0.7 一类“通用机器人基础模型涌现组合泛化”的叙事形成对照：ZAP 强调组合泛化可以不靠大规模真实机器人数据，而靠仿真与工具接口。
• 相对既有 VLA 预训练研究（如示范质量条件化），ZAP 的关注点从“数据质量”转向“能力来源拆分”，属于同一脉络下的路线级增量而非参数级改进。
• 成本与速度优势（3x/17x）若成立，对大模型直接控机器人的工程可行性有直接影响。

局限与不确定性

• 未抓取到正文，以下均待核实：真实世界任务的种类、数量与评测协议；96.7% 的统计置信区间；是否单任务调参；GPT-6 Astra 的版本与配置。
• “简单仿真任务”的具体范围不明，仿真到真实的差距如何处理（域随机化、视觉对齐等）待核实。
• 泛化示例（下棋、画 X）多为桌面级短程操作，是否可扩展到长程、多物体、接触丰富任务待核实。
• 跨形态迁移仅报告单臂 Franka 一个平台、一个基准，泛化性证据有限。
• 27B 模型在训练/推理中的具体角色（是否在线参与推理、是否被蒸馏进小模型）待核实。
• 与 MolmoAct2、RoboLab-120 等基线是否为同等训练数据预算下的公平比较，待核实。

可用于图书/PPT/简报的角度

• “What 与 How 分离”：把机器人能力拆成“语义理解”和“运动技能”两条供应链，各自用最合适的数据源训练。
• “零真实数据”作为叙事钩子：真实机器人数据是否是规模化机器人的必要成本？
• 工具调用（tool harness）作为机器人与大模型的接口范式：模型不直接输出关节动作，而是调用受约束的工具。
• 成本曲线图：96.7% 成功率 vs 3x 速度 / 17x 成本，适合做“性能-成本”二维对比。
• 组合泛化的四个演示（试管、交接、井字棋、下棋）适合做“训练分布外”视觉案例页。
• 跨形态迁移作为“策略与本体解耦”的讨论引子。

与既有脉络的关系

• 与“π0.7——具备涌现能力的可引导机器人基础模型”同属组合泛化主题，但路径相反：π0.7 依托通用机器人基础模型与真实数据，ZAP 主张仿真技能 + 预训练理解、零真实机器人数据；可作为该卡片的前置对照条目。
• 与“质量感知 VLA 预训练”卡片共享 VLA 预训练问题意识，但 ZAP 的关注点不在示范质量条件化，而在能力来源拆分与工具接口，构成路线层面的补充而非更新。

原始材料

• 标题：Pretraining Knows What, Simulation Teaches How: Compositional Generalization in a Sim-Trained Robot Agent
• 来源：arXiv
• URL：https://arxiv.org/abs/2610.35817v1
• 关键词：foundation-model；robot agent；compositional generalization；sim-to-real；GRPO；VLA
• 备注：正文未能抓取，本卡片仅基于标题与摘要元数据整理，标注“待核实”处需回原文核对。