知识卡片：Agentic RSR：通过场景重建与执行接地的机器人策略实现真实—仿真—真实闭环

一句话结论

（待核实）Agentic RSR 试图把“真实工作区视频→仿真场景重建→可执行策略开发→真机执行”串成同一套操作任务流程，并报告在 18 个重建场景与真机实验中取得可量化的重建质量和约 80% 的仿真成功率保留率；但因正文未抓取，细节需以原文为准。

事件概述或研究问题

• 论文题目：Agentic RSR: Real-to-Sim-to-Real through Scene Reconstruction and Execution-Grounded Robot Policies。
• 核心问题（待核实）：真实机器人工作区的仿真重建需保留任务相关交互，而在仿真中开发的策略又必须能使用真实机器人可获得的观测；现有工作常把“场景重建”和“策略开发”分开处理。
• 该工作提出 Agentic Real-to-Sim-to-Real（Agentic RSR）框架，声称通过同一个操作任务把场景重建、策略开发和真机执行连接起来。

方法/产品要点

（以下均待核实，仅依据元数据摘要转述）

• 输入：工作区视频、任务描述、已知机器人模型。
• 场景重建：由 agent 恢复公制尺度（metric scale），利用视觉反馈迭代优化场景，并在 MuJoCo 中检查任务相关交互。
• 策略开发：由 coding agent 开发可执行策略，从特权物体位姿逐步过渡到视觉观测与随机化仿真。
• 执行机制：策略可在一次调用中交错多个观测与动作；agent 利用执行反馈决定继续、重试或修改方案。
• 接口与迁移：共享任务级接口把策略与累积经验带到真实机器人，真机上由新观测与安全检查引导执行。
• 可用性声明：代码与重建场景数据将公开（待核实具体发布地址与时间）。

主要结果或产业意义

（待核实）

• 重建评估：18 个重建场景、两种机器人；相对参考深度估计的四视角 Depth MAE 均值为 0.1057 m；Lab ΔE₇₆ 均值为 11.04；灰度 SSIM 均值为 0.6990。
• 真机实验：总体任务成功率达到仿真任务成功率的 80%，作者据此认为仿真性能在硬件上有较大程度保留。
• 产业意义（推断，待核实）：若方法可复现，可能降低“真实场景建模→仿真训练→真机部署”之间的人力和工程切换成本，尤其适用于需要任务相关交互保真的操作场景。

为什么重要

• 真实—仿真—真实的瓶颈往往不在单点算法，而在重建、策略与执行之间的接口与反馈闭环；Agentic RSR 的增量点在于用同一任务贯穿三者，并让执行反馈反向影响策略行为（待核实其具体机制）。
• 与既有卡片中“SUN：控制到学习再到真实”的脉络相比，本条更强调从真实工作区视频出发的场景重建与仿真交互校验，而非仅从语言控制生成统一程序；两者是否在方法上互补或可比，需待正文核实。
• 与“PixWorld：像素空间统一三维场景生成与重建”相比，本条关注的是任务级机器人工作区重建与策略执行闭环，而非通用三维生成/重建范式；交集与差异待核实。

局限与不确定性

• 正文未能抓取，以上方法、指标与结论均来自元数据/摘要，具体实验设置、基线、统计口径、失败案例与消融均待核实。
• Depth MAE、Lab ΔE₇₆、SSIM 的参考深度与评估协议未在可用材料中说明，横向可比性待核实。
• “80% 仿真成功率”对应的任务数量、试验次数、机器人型号、场景复杂度与安全约束待核实。
• 代码与数据“将公开”尚未确认实际发布状态。
• 与已有卡片的关系：本条可能延续“真实—仿真—真实”与“场景重建+策略学习”的脉络，但增量信息是否成立需以原文为准。

可用于图书/PPT/简报的角度

• 从“重建与策略脱节”到“同一任务贯穿真实—仿真—真实”的闭环叙事。
• 用执行反馈驱动 agent 重试/修正：机器人策略开发中的“执行接地”（execution-grounded）概念。
• 量化重建质量与真机性能保留率：如何用 Depth MAE、色差、SSIM 与成功率保留率讲清 sim-to-real 的代价。
• 任务级接口作为“经验载体”：策略与累积经验如何从仿真带到真机。
• 与 SUN、PixWorld 等卡片并置时，可讨论“程序化控制—像素级重建—任务级闭环”三条不同技术路线的分工与边界（待核实）。

原始材料

• URL: https://arxiv.org/abs/2610.10479v1
• Track: academic
• Topics: foundation-model
• Manual title: Agentic RSR: Real-to-Sim-to-Real through Scene Reconstruction and Execution-Grounded Robot Policies
• Candidate summary: A simulation of a real robot workspace must preserve task-relevant interactions, while policies developed in it must operate on observations available to the real robot. Yet scene reconstruction and policy development are often treated separately. We present Agentic Real-to-Sim-to-Real (Agentic RSR), a framework that links scene reconstruction, policy development, and real-robot execution through the same manipulation task. Given a workspace video, a task description, and a known robot model, an agent recovers metric scale, iteratively refines the scene using visual feedback, and checks task-relevant interactions in MuJoCo. A coding agent then develops an executable policy, progressing from privileged object poses to visual observations and randomized simulation. The policy can interleave multiple observations and actions within one invocation, while the agent uses execution feedback to continue, retry, or revise its approach. A shared task-level interface carries the policy and accumulated experience to the real robot, where fresh observations and safety checks guide execution. Across 18 reconstructed scenes involving two robots, the mean four-view Depth MAE against reference depth estimates is 0.1057 m, the mean Lab $ΔE_{76}$ is 11.04, and the mean grayscale SSIM is 0.6990. In real-robot experiments, the aggregate task success rate reaches 80% of the simulation task success rate, indicating substantial retention of simulated performance on hardware. Code and reconstructed scene data will be made publicly available.
• Parent digest:
• Parent URL:

与既有脉络的关系

（待核实）本条与“SUN：面向语言控制的‘控制到学习再到真实’策略的持久化程序”同属真实—仿真—真实迁移方向，但 Agentic RSR 的切入点更偏向“从真实视频重建任务相关仿真场景 + 执行反馈驱动策略开发”，而非以语言控制统一编译 MPC/RL 目标；与“PixWorld”则分别处于任务级机器人闭环与通用三维生成/重建两条线。是否构成对上述卡片的事实更新，需待正文核实。