AI消息速览

OSWAM:一步动作生成的世界动作模型

事件日期 2026-10-26 · 学术前沿 · 已接受

事件日期2026-10-26
信息日期2026-10-26
入库日期2026-10-27
通道学术前沿
状态已接受
来源arXiv 论文

知识卡片:OSWAM:一步动作生成的世界动作模型

一句话结论

OSWAM 通过用“想象令牌”初始化扩散过程并结合特权信息蒸馏,将直接策略世界动作模型(Direct-policy WAM)的动作生成从数十步去噪压缩到单步,在自动驾驶与具身控制任务上达到与多步基线相当或更优的效果,并获得约 3 倍加速(摘要数据,具体实验设置待核实)。

事件概述或研究问题

  • 研究背景:Direct-policy WAM 将动作生成与显式未来视觉预测解耦,已在自动驾驶和具身控制中体现出高效推理优势。
  • 核心问题:这类模型仍需数十步去噪才能达到有竞争力的动作质量,延迟大,难以实时部署;而简单减少去噪步数会把非线性多步去噪轨迹压缩为粗更新,导致动作质量明显下降。
  • 论文提出的问题:能否在保持动作质量的前提下,把去噪步数降到单步,从而实现实时动作生成。

方法/产品要点

  • 核心论点:随机噪声初始化中缺少结构化动作先验,是 Direct-policy WAM 必须依赖迭代去噪来恢复连贯动作序列的原因。
  • 想象令牌(imagination tokens):用于初始化扩散过程,提供物理先验和动作条件表征,替代纯随机噪声起点。
  • 特权信息蒸馏 + 未来条件:引入带未来条件的特权信息蒸馏,增强模型对未来信息的感知,提升动作生成质量。
  • 结果:模型仅需一个扩散步即可生成高质量动作。

主要结果或产业意义

  • 在自动驾驶与具身控制两类任务上,OSWAM 与需要数十步的 Direct-policy WAM 和 Joint-WAM 相比,取得相当甚至更好的结果(具体指标数值待核实)。
  • 相比 Direct-policy WAM 基线约 3 倍加速。
  • 支持实时编译推理,在 NVIDIA RTX 5090 GPU 上延迟低至 40ms(该数字来自摘要,测试条件待核实)。
  • 产业意义:单步动作生成显著降低推理延迟,为世界动作模型在实时自动驾驶与机器人控制场景中的部署提供可能。

为什么重要

  • 世界动作模型常在“动作质量”与“推理延迟”之间权衡;OSWAM 声称打破这一权衡,把去噪步数压到一步而性能不降,这对实时闭环控制场景具有直接价值。
  • 与既有卡片中关注实时性的工作(如 TurboVLA 的 32Hz 实时运行、FibVLA 的推理效率优化)形成互补:OSWAM 的思路是从扩散初始化和蒸馏入手压缩去噪步数,而非仅优化采样或时序建模(具体差异待核实)。
  • 其“想象令牌提供结构化先验”的论点,为扩散式动作生成模型的设计提供了可复用的思路。

局限与不确定性

  • 摘要仅给出概括性结论,具体的实验基准、数据集、评测指标与对比细节未在材料中展开,待核实。
  • 40ms 延迟与约 3 倍加速均为摘要陈述,测试硬件为 RTX 5090,其他硬件平台上的表现待核实。
  • “想象令牌”的具体构造方式、特权信息蒸馏的训练细节,材料中未说明,待核实。
  • 与 Joint-WAM 的对比范围与任务设置待核实。

可用于图书/PPT/简报的角度

  • “扩散步数压缩”作为实时具身智能的工程杠杆:从随机噪声到结构化先验初始化。
  • 世界动作模型(WAM)的谱系:Direct-policy WAM → Joint-WAM → OSWAM 的单步化路线。
  • 实时性数据点:RTX 5090 上 40ms 延迟、约 3 倍加速,可作为“实时 VLA/世界模型”章节的案例。
  • 蒸馏 + 未来条件作为提升动作生成质量的一般性训练策略。

与既有脉络的关系

  • 与 TurboVLA、FibVLA 同属“视觉-语言-动作模型实时化”脉络,但 OSWAM 聚焦世界动作模型与扩散去噪步数压缩,属于不同的效率优化路径;其增量信息在于把 Direct-policy WAM 的数十步去噪降至单步并给出 40ms 级延迟数据(待核实细节)。

原始材料

  • 标题:OSWAM: An Effective World Action Model with One-Step Action Generation
  • arXiv ID:2610.35850v1
  • 作者:Guowen Zhang, Liyi Chen, Xu Hu, Pengfei Wang, Jingfan Chen, Chenhang He, Lei Zhang
  • 发布/更新:2026-10-26T17:57:09Z
  • 主分类:cs.CV;分类:cs.CV, cs.RO
  • Abstract URL: https://arxiv.org/abs/2610.35850v1
  • PDF URL: https://arxiv.org/pdf/2610.35850v1
  • 项目页:https://gwenzhang.github.io/OSWAM/

发现内容有误?

免登录提交,管理员审核并完成修正后才会公开修订说明。

值得关注

世界动作模型常在“动作质量”与“推理延迟”之间权衡;OSWAM 声称打破这一权衡,把去噪步数压到一步而性能不降,这对实时闭环控制场景具有直接价值。 与既有卡片中关注实时性的工作(如 TurboVLA 的 32Hz 实时运行、FibVLA 的推理效率优化)形成互补:OSWAM 的思路是从扩散初始化和蒸馏入手压缩去噪步数,而非仅优化采样或时序建模(具体差异待核…

相关主题

对应的教材知识点

根据卡片内容自动匹配,点击查看已审核的教材讲解: