知识卡片：DreamX——将视频扩散模型改造为通用潜动作学习器

一句话结论

DreamX 把预训练视频扩散模型改造成通用潜动作学习器，从视频时空特征中提取高度压缩（约 300×，1200→4 tokens/帧）且与视觉外观解耦的潜动作，在 LARY-Bench 上取得潜动作模型中的 SOTA，并支持跨具身、跨环境的零样本动作迁移与紧凑潜空间策略学习。

事件概述或研究问题

从视频中学习通用动作表示的核心难点在于：同一动作的不同执行之间要保持动态一致性，同时要对具身形态和外观变化保持不变性。现有潜动作模型从视觉转场推断动作，但表示往往把真实动作与无关视觉变化纠缠在一起，限制了跨具身迁移。DreamX 针对这一问题提出用视频扩散模型的生成先验来分离动作相关动态与视觉外观。

方法/产品要点

• 基座复用：以预训练视频扩散模型作为潜动作学习器，利用其丰富的时空特征与生成先验。
• 紧凑压缩：从视频模型特征中提取紧凑潜动作，每个潜视频帧压缩约 300 倍（1,200 → 4 tokens）。
• 解耦机制：借助视频模型的生成先验，使潜动作捕获动作相关动态、剥离视觉外观。
• 共享接口：所得潜空间作为跨具身（人类与机器人）、跨环境、跨动作参数化的共享动作接口。
• 下游用途：该接口支持在紧凑潜动作空间中进行策略学习，降低基于视频扩散的策略的计算开销。

主要结果或产业意义

• 在 LARY-Bench 上，DreamX 在潜动作模型中达到 SOTA。
• 在一个设定中编码的动作在另一设定中仍然有效：潜空间支持任意到任意的视频迁移，以及跨多样具身与环境的零样本动作迁移。
• 共享接口使策略可在紧凑潜动作空间中学习，减少视频扩散策略的计算成本。

为什么重要

跨具身通用动作表示是机器人基础模型的关键瓶颈之一。DreamX 的思路是把视频生成模型学到的动态先验转化为可复用的“动作语言”，让人类视频与机器人数据在同一潜空间中对齐；其 300× 压缩也直接指向降低视频扩散策略推理成本这一实际痛点。与既有卡片中 DreamX-Phi 1.0（动作条件视频世界模型，偏预测未来观测）不同，本条聚焦于从视频中学习通用潜动作表示与跨具身迁移接口，二者构成同一 DreamX 命名下的不同技术路线，具体关系待核实。

局限与不确定性

• 论文给出的 300× 压缩比（1,200 → 4 tokens）的具体计算口径与统计方式，材料未说明，待核实。
• LARY-Bench 的构成、规模与评测协议在摘要中未展开，待核实。
• 零样本动作迁移的实验覆盖范围（具身种类、环境数量、动作参数化形式）摘要未给出细节，待核实。
• 潜动作解耦程度的定量证据（如与外观因素的互信息或消融）材料未提供，待核实。
• 与 DreamX-Phi 1.0 是否共享代码/模型权重、命名关系如何，待核实。

可用于图书/PPT/简报的角度

• “视频生成模型即动作学习器”：把生成先验当作解耦工具的思路转变。
• 潜动作空间的压缩经济学：300× 压缩如何改变视频扩散策略的算力账本。
• 跨具身共享动作接口：人类视频与机器人数据之间的“通用语”。
• 潜动作模型的能力边界：一致性 vs. 不变性的权衡框架。
• 与 DreamX-Phi 1.0 对照：同一品牌下“世界模型”与“动作表示学习”两条路线。

原始材料

• 标题：DreamX: Video Diffusion Model is a Universal Latent Action Learner
• arXiv ID：2611.05377v1（cs.CV；交叉 cs.AI、cs.RO）
• 作者：Jisoo Kim, Chaehyun Kim, Junsu Kim, Jiho Park, Seongchan Kim, Eunbeen Hong, Soowon Son, Fu-En Yang, Seungryong Kim
• 发布/更新：2026-11-03T18:59:56Z
• 摘要页：https://arxiv.org/abs/2611.05377v1
• PDF：https://arxiv.org/pdf/2611.05377v1
• 关键词：video diffusion model；latent action；universal action representation；cross-embodiment transfer；LARY-Bench