知识卡片：Dream to Remember：用世界模型对通用机器人策略进行持续引导

一句话结论

D2R 通过让冻结的世界模型“想象”旧任务来排练，从而在持续学习新任务时锚定一个轻量级引导模块，避免了对冻结通用机器人策略进行微调或重放数据所带来的灾难性遗忘。

事件概述或研究问题

通用机器人策略通常通过模仿学习训练，其能力受限于演示数据的质量与覆盖范围。强化学习可用于改进和扩展这类策略，常见路径有二：微调策略权重，或训练一个小模块去引导（steer）冻结生成式策略的输入噪声。然而当任务按顺序到达时，两种路径都会遭遇灾难性遗忘：微调新任务会损害旧任务，而引导方案只是把遗忘转移到了共享的引导模块上。论文提出 Dream to Remember（D2R），目标是在持续引导冻结通用策略学习新任务的同时保留其已有技能。

方法/产品要点

• 核心思路：持续引导一个冻结的通用策略走向新任务，同时保留早期技能。
• 抗遗忘机制：当引导模块学习新任务时，一个冻结的预训练世界模型通过“想象 rollout”排练旧任务，把引导模块锚定在早期行为上，无需回放缓冲区，也不需要旧数据。
• 两种工作模式：
  • 若世界模型足够忠实，D2R 完全在想象中学习新任务；
  • 否则，在真实环境中学习新任务，仅用世界模型排练旧任务。
• 使用组件：在 LIBERO-90 实验中使用了现成的冻结通用策略 π0 与冻结世界模型 A2World。

主要结果或产业意义

• CALVIN：D2R 完全在想象中按顺序改进八个任务，将平均成功率从 63.7% 提升到 74.8%；同一序列上 LoRA 微调则降至 11.7%。
• LIBERO-90：使用冻结的 π0 与 A2World，D2R 在环境中学习未见过的 LIBERO-90 任务，同时保持 π0 在其微调过的 LIBERO 套件上的性能——即使该世界模型精度不足以用于策略优化。
• 真实机器人：在真实 Franka 机器人上，D2R 完全在想象中按顺序改进三个任务，并保留此前的改进。
• 产业意义：为通用机器人策略的持续扩展提供了一条无需重放旧数据、不破坏原有技能的路径，降低了对昂贵真实回放数据与全量微调的依赖。

为什么重要

• 通用策略的能力受限于演示数据的覆盖；持续学习新技能是扩展其能力的关键，但灾难性遗忘是主要障碍。
• D2R 把“遗忘”问题从策略权重转移到可控的引导模块，并用世界模型的想象排练替代真实数据回放，避免了存储与隐私成本。
• 与既有的层级世界模型规划工作（如 H-JEPA）不同，本条聚焦于利用世界模型做持续学习中的抗遗忘排练，而非用世界模型做规划器本身；增量在于把世界模型用作“记忆锚点”而非“决策器”。

局限与不确定性

• 世界模型的“忠实度”阈值如何界定、如何自动判断何时可完全在想象中学习，材料未说明，待核实。
• 真实 Franka 实验的任务细节、评估指标与统计显著性，待核实。
• 是否适用于非生成式策略、非噪声引导接口的通用策略，待核实。
• 世界模型本身的误差在长期持续学习中的累积效应，材料未讨论，待核实。
• 与既有卡片的关系：本条与 H-JEPA 同属世界模型用于机器人决策的脉络，但 H-JEPA 关注端到端层级规划，本条关注持续学习中的抗遗忘，二者不重复。

可用于图书/PPT/简报的角度

• “想象即排练”：用世界模型替代回放缓冲区，作为持续学习的抗遗忘机制。
• 对比案例：同一序列上 D2R（74.8%）vs LoRA 微调（11.7%），直观展示灾难性遗忘与抗遗忘方案的差距。
• 冻结策略 + 轻量引导模块的架构：如何在不触碰大模型权重的前提下持续扩展能力。
• 世界模型的双重角色：既是想象学习的环境，也是旧任务的记忆锚点；并讨论“世界模型不够准时如何降级使用”。

原始材料

• 标题：Dream to Remember: Continual Steering of Generalist Robot Policies with World Models
• 作者：Bahey Tharwat, Iman Nematollahi, Marvin Alles, Xingyuan Zhang, Akshay L Chandra, Abhinav Valada
• arXiv ID：2610.13816v1
• 分类：cs.RO（主）, cs.CV, cs.LG
• 发布：2026-10-09T16:28:01Z
• 摘要链接：https://arxiv.org/abs/2610.13816v1
• PDF 链接：https://arxiv.org/pdf/2610.13816v1
• 关键词：continual learning, generalist robot policies, world models, catastrophic forgetting, robotic manipulation