知识卡片：LoopWAM：基于部署回放的闭环通用策略改进

一句话结论

LoopWAM 是一种闭环 world-action 模型，能直接从部署过程中产生的混合质量回放（成功、次优、失败）中学习，通过多轮部署-训练迭代持续提升通用机器人策略，而无需依赖额外的具身预训练。

事件概述或研究问题

• 问题：仅靠扩大专家演示规模，无法让通用机器人策略在部署后继续改进。
• 挑战：真实部署回放中既有成功，也有次优行为和失败。若对全部动作进行模仿，会强化不良行为；若过滤掉失败，则丢弃了物理交互及其后果的证据。
• 研究目标：如何利用完整质量谱系的部署回放，实现闭环的策略自我改进。

方法/产品要点

• 核心架构：闭环 world-action model（世界-动作模型），同时学习行为与动作条件下的世界建模。
• Source-dependent noise sampling：统一行为学习与动作条件下的世界建模。
• Quality steering 与 quality-weighted supervision：在保留全质量视频监督的同时，调节动作模仿的权重。
• 并行去噪中的交互：视频 token 与动作 token 在并行去噪过程中持续交互，使学到的后果直接指导动作生成。
• 数据来源：使用来自自身策略和其他已部署策略的混合回放。

主要结果或产业意义

• RoboChallenge Table30-V2：三轮部署-训练将成功率从 23.67% 提升至 43.33%（+19.7 个百分点），最终得分 56.80。
• RoboTwin 2.0：平均成功率 94.5%。
• RoboCasa365：总体成功率 49.5%。
• 以上三个基准均在无额外具身预训练条件下取得对比方法中的最佳总体结果。
• 衬衫折叠任务（单任务后训练后）：两轮部署驱动改进将成功率从 13.20% 提升至 55.56%。
• 证明闭环改进在多任务学习和单任务后训练两种设定下均有效。

为什么重要

• 提出了一条不依赖更多专家演示、而是利用部署经验（包括失败）来持续改进机器人策略的路径。
• 将世界模型与策略学习通过闭环部署-训练循环紧密结合，为通用机器人策略的“从部署中学习”提供了可操作范式。
• 对既有“从开环到闭环”和“递归自我改进”脉络的增量：本条聚焦于机器人策略在混合质量真实回放上的闭环改进，并给出多轮迭代的具体成功率提升数据，而非图像生成或纯软件自我精炼。

局限与不确定性

• 论文未说明各基准任务的具体任务数量与难度分布（待核实）。
• 三轮部署-训练的总时间与计算成本未在摘要中披露（待核实）。
• 衬衫折叠任务中“单任务后训练”的具体设置与数据规模待核实。
• 与其他方法对比的公平性条件（如是否同等预训练、同等数据）待核实。
• 论文发表时间为 2026-10-13，Project Page 与代码/模型是否已公开待核实。

可用于图书/PPT/简报的角度

• “失败也是数据”：从过滤失败到利用全质量谱系的策略学习转变。
• 闭环 deployment loop：机器人策略如何像软件一样通过迭代部署持续改进。
• World model 与 policy 的融合：视频 token 与动作 token 并行去噪的架构意义。
• 通用机器人策略的“后训练”路径：单任务后训练 + 部署驱动改进。

与既有脉络的关系

• 与“从开环到闭环：测试时迭代优化框架用于参考一致性图像生成”共享闭环迭代思路，但本条针对机器人策略而非图像生成。
• 与“AI中的递归自我改进”中“有界自我精炼 vs 开放式递归自我改进”的分类相关：LoopWAM 属于有界自我精炼——改进信号来自真实部署回放与任务成功率，而非完全自主的开放式自我改进。
• 与“Point as Skeleton”的闭环自动驾驶仿真不同，本条关注真实机器人部署回放而非仿真传感器生成。

原始材料

• 标题：LoopWAM: Closed-Loop Generalist Policy Improvement from Deployment Rollouts
• arXiv ID：2610.18873v1
• 作者：Wenxuan Guo, Yingping Liang, Zhaoguo Wang, Ziyuan Li, Angyuan Ma, Zhenyu Wu, Chengkun Wang, Bingyao Yu, Ze Chen, Borui Zhang, Xiuwei Xu, Meng Zhang, Erjin Zhou, Jiwen Lu
• 发布时间：2026-10-13T17:59:56Z
• 主分类：cs.RO；交叉分类：cs.RO, cs.CV
• Abstract URL：https://arxiv.org/abs/2610.18873v1
• PDF URL：https://arxiv.org/pdf/2610.18873v1
• Project Page：https://loop-wam.github.io/