知识卡片:Long-WAM:扩展世界-动作模型的上下文
一句话结论
Long-WAM 是一个在实时控制约束下扩展因果世界-动作模型上下文的模型-系统框架;其核心结论是:拥有历史不等于会利用历史,更长历史只有在视频基础模型经自回归(AR)预训练时才会带来显著收益。
事件概述或研究问题
实时机器人控制需要足够视觉历史来推断运动与任务进度,但处理历史会延迟动作。论文研究如何在实时控制约束下扩展因果世界-动作模型的上下文,并让历史真正服务于未来预测与动作。来源为 arXiv:2610.10528v1,主分类 cs.RO。提供材料仅含摘要/描述,完整论文细节待核实。
方法/产品要点
- 先用机器人和第一人称/自我中心视频学习因果预测,不需要动作标签。
- 在世界-动作适配阶段保留“历史到未来”的结构。
- 系统侧采用流式观测编码、异步执行、硬件特定加速,支持 RTX 5090、DGX Spark、Jetson AGX Thor 部署,且不放弃未来预测。
- 可作为 memory-informed executor,与更高层规划在复合任务中互补。
- 英文关键词(来源未单独列出,据标题/摘要提取):World-Action Models; Autoregressive Pretraining; Robot Control; Context Scaling; Real-Time Deployment; Causal Prediction; Long-Horizon Manipulation。
主要结果或产业意义
- RoboCasa GR-1:上下文从 0.0 秒增至 19.2 秒,成功率从 63.3% 升至 78.7%;双向预训练初始化没有净增益。
- 机器人域 AR 预训练进一步提升 GR-1 与 LIBERO-Long 的峰值成功率。
- 在 LIBERO-Long、RoboTwin 2.0、DOMINO 上,Long-WAM 在所比较方法中取得最好结果。
- RTX 5090 上每个 action chunk(含未来视频 latent 预测)耗时 107.4 ms。
- 在 Unitree G1 和 YAM 上实时部署,支持动态与长程操作;动态叠杯子成功率 95%,而 Pi0.5 和 Fast-WAM 在 20 次试验中均未成功。
- 产业意义:为机器人实时控制中的长上下文世界-动作模型提供从预训练到部署的系统路径。
为什么重要
- 它把“上下文长度”问题转化为“预训练目标是否支持因果/自回归利用历史”的问题,提示长窗口收益不是自动的。
- 对具身智能、机器人基础模型、世界模型和实时边缘部署均有参考价值。
- 与既有卡片的关系:同属世界模型/具身方向,但本条聚焦 Long-WAM 的 AR 预训练、上下文扩展与实时系统;不重复 JEPA 可辨识性、VLA 忠实性或多语言搜索卡片的结论。增量信息是:在机器人 world-action 模型中,AR 视频基础与系统级加速可把长历史转化为操作成功率。
局限与不确定性
- 提供材料为摘要/描述,未包含完整论文;实验设置、消融、统计显著性、基线是否同预算、数据集规模、硬件功耗/延迟全貌等无法确认,待核实。
- “在所比较方法中最好”的比较范围与指标定义待核实。
- 动态叠杯子中与 Pi0.5、Fast-WAM 的试验条件是否完全一致,待核实。
- 代码、模型权重、许可、复现细节未在材料中提供,待核实。
- 来源未单独列出英文关键词;上述关键词为提取,不是原文关键词列表。
可用于图书/PPT/简报的角度
- “历史不是越多越好,关键是让模型学会用历史”:AR 预训练与双向初始化的对比。
- 系统设计:流式编码 + 异步执行 + 硬件加速,让长上下文世界-动作模型跑在实时机器人上。
- 数据效率:无需动作标签的机器人/第一人称视频因果预训练。
- 案例对比:动态叠杯子 95% vs 20 次 0 成功。
- 架构角色:Long-WAM 作为记忆型执行器,与高层规划组合处理复合任务。
- 部署清单:RTX 5090、DGX Spark、Jetson AGX Thor 上的实时性讨论(具体配置待核实)。
原始材料
- 英文标题:Long-WAM: Scaling the Context of World-Action Models
- arXiv ID:2610.10528v1
- 作者:Wei Huang, Bohan Zhang, Chenzhi Liu, Isabella Liu, Shuai Yang, Weian Mao, Luozhou Wang, Yicheng Xiao, Weifeng Lin, Qixin Hu, Bryan Chu, Sifei Liu, Linxi Fan, Xiaojuan Qi, Song Han, Yukang Chen
- 发布时间:2026-10-07T17:58:04Z;更新时间:2026-10-07T17:58:04Z
- 主分类:cs.RO;分类:cs.RO, cs.AI, cs.CV
- Track:academic;Topics:foundation-model
- 摘要页:https://arxiv.org/abs/2610.10528v1
- PDF:https://arxiv.org/pdf/2610.10528v1
- 英文关键词(据标题/摘要提取):World-Action Models; Autoregressive Pretraining; Robot Control; Context Scaling; Real-Time Deployment; Causal Prediction; Long-Horizon Manipulation
发现内容有误?
免登录提交,管理员审核并完成修正后才会公开修订说明。
值得关注
它把“上下文长度”问题转化为“预训练目标是否支持因果/自回归利用历史”的问题,提示长窗口收益不是自动的。 对具身智能、机器人基础模型、世界模型和实时边缘部署均有参考价值。 与既有卡片的关系:同属世界模型/具身方向,但本条聚焦 Long-WAM 的 AR 预训练、上下文扩展与实时系统;不重复 JEPA 可辨识性、VLA 忠实性或多语言搜索卡片的结论。增量信息…
相关主题
对应的教材知识点
教材知识点匹配尚未完成。