知识卡片：重建、练习、走向真实：具身智能体的引导式自我改进

一句话结论

RPG（Reconstruct, Practice, Go Real）提出一种不更新模型权重、只改进系统提示与可复用符号技能库的具身智能体自我改进框架：在 22 个操作任务的留出初始化上，任务成功率从第 1 轮练习后的 28.6% 提升到第 15 轮后的 95.0%，并在 3 个任务各 10 次的实体试验中全部成功。

事件概述或研究问题

材料指出，要在多样任务上构建可靠的机器人能力，通常需要大量人力来开发与维护技能、设计奖励，并把感知与控制集成起来。RPG 研究的问题是：机器人执行系统能否在不更新模型权重的前提下自主改进？其做法是先从离线数据集中识别操作能力，在仿真中构建相关练习任务，再用练习阶段的反馈来诊断失败，并据此改进技能和系统提示。测试时，多模态 LLM 使用最终的系统提示和技能库来协调感知与机器人控制。

方法/产品要点

• 名称：Reconstruct, Practice, Go Real（RPG）。
• 不更新模型权重：RPG 改进的是机器人执行系统，而非模型权重。
• 重建：从离线数据集中识别 manipulation capabilities，并在仿真中构建相关练习任务。
• 练习与诊断：练习阶段使用 execution feedback、privileged simulator state 和 available dataset videos 来诊断失败。
• 技能与提示更新：根据诊断开发新的可复用 symbolic skills，精炼已有技能，并修订 system prompt。
• 跨任务评估：在保留复用前，测试单个候选变更和合并修订。
• 测试时执行：多模态 LLM 使用生成的 system prompt 和 skill library 协调 perception 与 robot control。
• 对比基线：包括 ASPIRE 和 CaP-Agent0 powered by GPT-6 Astra Pro。

主要结果或产业意义

• 在 22 个 manipulation tasks 的 held-out initializations 上，RPG 将任务成功率从第 1 轮练习后的 28.6% 提升到第 15 轮后的 95.0%。
• 材料称该结果优于所有被评估基线，包括 ASPIRE（75.5%）和 CaP-Agent0 powered by GPT-6 Astra Pro（60.0%）。
• 经过共同的 calibration and hardware-adaptation procedure 后，冻结系统在全部 30 次 physical trials 中成功，三个任务各 10 次。
• 产业意义方面，材料所述目标指向减少人工开发/维护技能、设计奖励和集成感知控制的负担；若结果可复现，这为“不改权重、改执行系统”的机器人自主改进路径提供了初步证据。具体产业适用性待核实。

为什么重要

这条工作把“自我改进”从模型权重更新转向具身执行系统的提示与技能库更新，并通过仿真练习、失败诊断和跨任务筛选形成闭环，最后以实体机器人试验作为验证信号。与已有相关卡片相比：AI4AI-Bench 关注 LLM 智能体改写训练算法的递归自我改进；ScienceBuddy 关注科研工作空间中 harness 与模型的双层自我改进；UniClawBench 关注真实世界主动智能体基准。本条的增量在于面向 embodied agents/机器人操作，给出“不更新模型权重”的具体机制，并报告仿真成功率提升与实体试验结果。它与这些脉络在方法论和评测上的可比较性待核实。

局限与不确定性

• 当前仅依据 arXiv 摘要与项目网站链接生成，未读取论文全文；仿真环境、任务列表、离线数据集、失败诊断机制、跨任务评估协议、基线配置、统计显著性、硬件设置、校准与硬件适配流程、技能表示、系统提示格式、计算成本和人工参与程度均待核实。
• 30 次实体试验仅覆盖 3 个任务，每任务 10 次；任务多样性、试验顺序、随机性、失败判定标准等待核实。
• 结果来自作者报告，独立复现与同行评审状态待核实。
• “不更新模型权重”下，系统提示和技能库仍由流程生成与修订；其中人工监督程度、对仿真器特权状态的依赖程度、向其他机器人平台和真实环境变化的泛化能力待核实。
• 英文关键词原文未单列；以下为据标题与摘要提取的英文关键词，非原文关键词表。

可用于图书/PPT/简报的角度

• “不改权重，改执行系统”：具身智能体自我改进的另一条路径。
• 从离线数据到仿真练习，再到真实部署的闭环：Reconstruct → Practice → Go Real。
• 多模态 LLM 作为机器人感知-控制协调器；符号技能库作为可复用资产。
• 跨任务评估作为变更筛选机制，用于避免局部改进带来回归。
• 仿真特权状态与数据集视频在失败诊断中的互补作用。
• 与递归自我改进（RSI）主题对照：模型权重更新 vs. system prompt 与 skill library 更新。
• 真实硬件 30/30 试验作为仿真到真实的初步证据，但样本规模有限。

原始材料

• 英文标题：Reconstruct, Practice, Go Real: Guided Self-Improvement for Embodied Agents
• 英文关键词：原文未单列；据标题与摘要提取：Reconstruct, Practice, Go Real (RPG); embodied agents; guided self-improvement; robot execution systems; manipulation capabilities; symbolic skills; multimodal LLM; system prompt; skill library; simulation; physical trials
• 作者：Yen-Jen Wang, Haozhe Jiang, Shuying Deng, Haoru Xue, Weirui Ye, Rocky Duan, Nika Haghtalab, S. Shankar Sastry, Pieter Abbeel, Haozhi Qi
• arXiv ID：2610.02204v1
• 发布时间/更新：2026-10-01T17:59:50Z
• 类别：Primary cs.RO；cs.RO, cs.AI, eess.SY
• Abstract URL：https://arxiv.org/abs/2610.02204v1
• PDF URL：https://arxiv.org/pdf/2610.02204v1
• Project Website：https://rpg-robot.github.io/