知识卡片:面向潜世界模型的运动引导对比正则化
一句话结论
针对 JEPA 风格潜世界模型中“静态坍缩”导致控制信息丢失的问题,作者提出运动引导对比正则化(motion-guided contrastive regularization),在随机背景的 OGBench-Cube 上把规划成功率从 52% 提升到 78%,在 LIBERO-Object 上从 14% 提升到 54%。
事件概述或研究问题
JEPA 风格世界模型在不重建观测的前提下学习动作条件潜动力学,但仅靠分布正则化并不能保证表征保留控制所需的信息。作者识别出一种失败模式“静态坍缩”(static collapse):编码器保留与具体回合相关的静态内容,却压制了与操作任务相关的状态变化。由于静态内容在时间上可预测、跨回合又高度多样,这类失败可以在 SIGReg 等正则化器存在时依然持续。研究问题是:如何让潜表征保留回合内的状态区分,而不是靠背景身份来区分动作结果。
方法/产品要点
- 受控实验:在 OGBench-Cube 上引入随机背景,底层操作任务不变,观察规划性能显著下降,以此暴露静态坍缩。
- 核心方法:运动引导对比正则化。将预测的潜转移与同一回合内候选观测的转移进行对比,降低静态背景身份在区分动作结果中的作用。
- 软对比目标:用光流相似度为候选提供软对比目标,运动相似的候选获得相似的监督信号。
- 训练目标组合:与潜预测、SIGReg 结合,鼓励表征保留回合内状态区分以及相关转移之间的相似性。
- 基线:LeWorldModel(LeWM)。
主要结果或产业意义
- OGBench-Cube(随机背景):规划成功率 52% → 78%。
- LIBERO-Object:14% → 54%。
- 在另外四个视觉控制基准上保持可比性能。
- 产业意义:对依赖潜世界模型做规划/控制的视觉机器人系统,背景多样性是常见现实条件;该方法提示正则化设计需显式保护任务相关运动信息,而非只约束潜分布。
为什么重要
潜世界模型的评估常忽略“表征是否保留控制所需信息”这一问题。本文把静态坍缩明确为可复现的失败模式,并给出轻量级的对比正则化补救方案,与仅依赖分布正则化(如 SIGReg)的做法形成对照。其增量在于:不是改进预测器或规划器,而是从表征学习目标层面修复信息丢失,且不依赖像素重建。
局限与不确定性
- 光流软目标的计算方式与开销、对无光流或弱纹理场景的适用性,待核实。
- 方法在真实机器人平台上的表现,材料未涉及,待核实。
- “静态坍缩”在其它模型族(非 JEPA 风格)中的普遍性,待核实。
- 四个“保持可比性能”的基准具体名称与数值,摘要未列出,待核实。
可用于图书/PPT/简报的角度
- 用“随机背景导致规划失败”作为世界模型表征缺陷的直观案例。
- 对比“分布正则化 vs 对比正则化”在潜世界模型中的分工。
- 强调不重建观测的 JEPA 路线的隐含风险:可预测 ≠ 可控。
- 作为“评估应加入背景随机化”的方法论论据。
与既有脉络的关系
既有卡片分别讨论了像素级空间正则化(CGSReg)、物理结构化潜状态(ELWM)与潜空间规划摊销(LeFlow)。本卡片补充的是表征目标层面的失败模式诊断与对比正则化方案,关注点从“预测/规划质量”前移到“潜表征是否保留控制信息”,可作为上述工作在上游表征学习环节的补充。
原始材料
- 标题:Motion-guided Contrastive Regularization For Latent World Models
- 作者:Yiwen Chen, Qiqi Hou, Jisoo Jeong, Yinhao Zhu, Huaizu Jiang, Amir Said
- arXiv ID:2611.06901v1(cs.CV),发布/更新:2026-11-04
- 摘要页:https://arxiv.org/abs/2611.06901v1
- PDF:https://arxiv.org/pdf/2611.06901v1
发现内容有误?
免登录提交,管理员审核并完成修正后才会公开修订说明。
相关主题
对应的教材知识点
根据卡片内容自动匹配,点击查看已审核的教材讲解: