AI消息速览

面向潜世界模型的运动引导对比正则化

事件日期 2026-11-04 · 学术前沿 · 待审核

事件日期2026-11-04
信息日期2026-11-04
入库日期2026-11-05
通道学术前沿
状态待审核
来源arXiv 论文

知识卡片:面向潜世界模型的运动引导对比正则化

一句话结论

针对 JEPA 风格潜世界模型中“静态坍缩”导致控制信息丢失的问题,作者提出运动引导对比正则化(motion-guided contrastive regularization),在随机背景的 OGBench-Cube 上把规划成功率从 52% 提升到 78%,在 LIBERO-Object 上从 14% 提升到 54%。

事件概述或研究问题

JEPA 风格世界模型在不重建观测的前提下学习动作条件潜动力学,但仅靠分布正则化并不能保证表征保留控制所需的信息。作者识别出一种失败模式“静态坍缩”(static collapse):编码器保留与具体回合相关的静态内容,却压制了与操作任务相关的状态变化。由于静态内容在时间上可预测、跨回合又高度多样,这类失败可以在 SIGReg 等正则化器存在时依然持续。研究问题是:如何让潜表征保留回合内的状态区分,而不是靠背景身份来区分动作结果。

方法/产品要点

  • 受控实验:在 OGBench-Cube 上引入随机背景,底层操作任务不变,观察规划性能显著下降,以此暴露静态坍缩。
  • 核心方法:运动引导对比正则化。将预测的潜转移与同一回合内候选观测的转移进行对比,降低静态背景身份在区分动作结果中的作用。
  • 软对比目标:用光流相似度为候选提供软对比目标,运动相似的候选获得相似的监督信号。
  • 训练目标组合:与潜预测、SIGReg 结合,鼓励表征保留回合内状态区分以及相关转移之间的相似性。
  • 基线:LeWorldModel(LeWM)。

主要结果或产业意义

  • OGBench-Cube(随机背景):规划成功率 52% → 78%。
  • LIBERO-Object:14% → 54%。
  • 在另外四个视觉控制基准上保持可比性能。
  • 产业意义:对依赖潜世界模型做规划/控制的视觉机器人系统,背景多样性是常见现实条件;该方法提示正则化设计需显式保护任务相关运动信息,而非只约束潜分布。

为什么重要

潜世界模型的评估常忽略“表征是否保留控制所需信息”这一问题。本文把静态坍缩明确为可复现的失败模式,并给出轻量级的对比正则化补救方案,与仅依赖分布正则化(如 SIGReg)的做法形成对照。其增量在于:不是改进预测器或规划器,而是从表征学习目标层面修复信息丢失,且不依赖像素重建。

局限与不确定性

  • 光流软目标的计算方式与开销、对无光流或弱纹理场景的适用性,待核实。
  • 方法在真实机器人平台上的表现,材料未涉及,待核实。
  • “静态坍缩”在其它模型族(非 JEPA 风格)中的普遍性,待核实。
  • 四个“保持可比性能”的基准具体名称与数值,摘要未列出,待核实。

可用于图书/PPT/简报的角度

  • 用“随机背景导致规划失败”作为世界模型表征缺陷的直观案例。
  • 对比“分布正则化 vs 对比正则化”在潜世界模型中的分工。
  • 强调不重建观测的 JEPA 路线的隐含风险:可预测 ≠ 可控。
  • 作为“评估应加入背景随机化”的方法论论据。

与既有脉络的关系

既有卡片分别讨论了像素级空间正则化(CGSReg)、物理结构化潜状态(ELWM)与潜空间规划摊销(LeFlow)。本卡片补充的是表征目标层面的失败模式诊断与对比正则化方案,关注点从“预测/规划质量”前移到“潜表征是否保留控制信息”,可作为上述工作在上游表征学习环节的补充。

原始材料

  • 标题:Motion-guided Contrastive Regularization For Latent World Models
  • 作者:Yiwen Chen, Qiqi Hou, Jisoo Jeong, Yinhao Zhu, Huaizu Jiang, Amir Said
  • arXiv ID:2611.06901v1(cs.CV),发布/更新:2026-11-04
  • 摘要页:https://arxiv.org/abs/2611.06901v1
  • PDF:https://arxiv.org/pdf/2611.06901v1

发现内容有误?

免登录提交,管理员审核并完成修正后才会公开修订说明。

相关主题

对应的教材知识点

根据卡片内容自动匹配,点击查看已审核的教材讲解: