知识卡片：GALA：面向跨具身视觉-语言-动作模型预训练的几何感知潜在动作建模

一句话结论

GALA 将基于图像的潜在动作与 3D 末端执行器几何运动结合，并引入统一末端执行器运动表示（UEMR），以支持跨具身视觉-语言-动作（VLA）模型预训练；材料报告其在细粒度运动探测、跨具身检索和下游 VLA 评测中有效，并取得 68.3% RoboCasa-GR1 成功率与 75.5% 真实世界成功率。

事件概述或研究问题

• 从多具身数据集学习大规模 VLA 模型仍具挑战，核心困难之一是不同末端执行器之间的动作空间异质。
• 潜在动作模型（LAMs）虽可从多样视频数据中学习“具身无关”的动作表示，但现有基于图像的 LAM 往往难以捕捉细粒度末端执行器关节运动，尤其是人类手与灵巧机器手的指级几何变化。
• GALA 要解决的问题是：如何在跨具身预训练中，同时保留细粒度末端执行器运动信息，并提升潜在动作表示的跨具身共享语义与泛化性。

方法/产品要点

• 提出 GALA：一个几何感知潜在动作建模框架，用 3D 末端执行器几何运动增强基于图像的潜在动作。
• 指出朴素地加入点云会得到细粒度动作表示，但共享语义有限，反而妨碍跨具身预训练。
• 引入统一末端执行器运动表示（Unified End-effector Motion Representation, UEMR）：在保留细粒度运动信息的同时，改善潜在动作的跨具身泛化性。
• 在 UEMR 基础上，GALA 结合两类潜在动作：
  • 视觉潜在动作：捕捉场景级动态；
  • 几何潜在动作：捕捉共享的细粒度末端执行器关节运动。
• 该监督信号面向多具身数据，包括无动作的自我中心人类视频（action-free ego-centric human videos）。
• 代码、附录和演示地址：https://puzhenyuan.github.io/GALA-website/

主要结果或产业意义

• 材料报告 GALA 在以下评测中展现有效性：
  • 细粒度运动探测；
  • 跨具身检索；
  • 下游 VLA 评测。
• 具体报告指标：
  • RoboCasa-GR1 成功率：68.3%；
  • 真实世界成功率：75.5%。
• 产业意义（需结合原文验证）：若该方法可复现，其潜在价值在于利用异构多具身数据乃至无动作人类视频来预训练通用 VLA，可能减少对同构动作空间与大规模机器人动作标注的依赖；具体产业影响程度待核实。

为什么重要

• 多具身预训练是 VLA 规模化的重要瓶颈之一，末端执行器动作空间异质会阻碍知识迁移。
• GALA 的增量在于：把“跨具身动作空间异质”问题转化为“几何感知潜在动作 + 统一末端执行器运动表示”的问题，并显式区分场景级视觉动态与细粒度末端执行器关节运动。
• 与既有卡片的关系：
  • DeCAL 也涉及 VLA 与潜在协同想象，但其卡片信息强调接触密集灵巧操作与视觉-触觉融合；GALA 聚焦跨具身预训练中的几何感知潜在动作与末端执行器运动统一表示。
  • StreamPI 强调 VLA 的流式多模态时间建模；GALA 强调多具身预训练中的动作表示与几何运动。
  • WCM 强调 VLA 强化学习后训练中的“世界评论家”；GALA 则面向预训练阶段的跨具身潜在动作监督。
• 因而，本卡片相对于既有脉络的增量信息是：GALA 尝试用 3D 末端执行器几何运动补齐图像潜在动作对指级 articulation 的不足，并通过 UEMR 处理跨具身共享语义问题。

局限与不确定性

• 材料仅提供摘要与题录信息，未提供方法细节、实验设置、基线对比、消融实验、数据集规模、训练成本与失败案例；这些均待核实。
• “68.3% RoboCasa-GR1 成功率”和“75.5% 真实世界成功率”的具体任务定义、评测协议、随机种子、对比基线待核实。
• UEMR 的具体构造方式、3D 几何输入来源、点云或手部姿态获取方式待核实。
• 跨具身泛化覆盖哪些具体具身形态、是否完整包含真实灵巧手与人类视频，待核实。
• 代码、附录和演示链接的可访问性与可复现性待核实。
• 与 DeCAL、StreamPI、WCM 等已有卡片工作是否可直接比较，待核实。

可用于图书/PPT/简报的角度

• 多具身 VLA 预训练中的动作空间异质性问题。
• 从图像潜在动作到几何感知潜在动作：如何捕捉末端执行器细粒度关节运动。
• UEMR 作为跨具身共享语义桥梁的潜在作用。
• 利用无动作第一视角人类视频进行机器人 VLA 预训练。
• 从仿真基准到真实机器人的迁移评测：RoboCasa-GR1 与真实世界成功率。
• 与接触感知灵巧操作、VLA 时间建模、VLA 强化学习后训练等路线的对比定位。

原始材料

• 英文标题：GALA: Geometry-Aware Latent Action Modeling for Vision-Language-Action Model Pretraining across Embodiments
• 英文关键词：vision-language-action (VLA); latent action models (LAMs); geometry-aware latent-action modeling; Unified End-effector Motion Representation (UEMR); multi-embodiment pretraining; cross-embodiment; dexterous hands; ego-centric human videos; RoboCasa-GR1
• 作者：Yichen Liu, Puzhen Yuan, Xiang Zhu, Yanjiang Guo, Jianyu Chen
• arXiv ID：2609.21948v1
• 发布/更新时间：2026-09-18T16:05:03Z
• 分类：cs.RO（主类），cs.CV
• 摘要页：https://arxiv.org/abs/2609.21948v1
• PDF：https://arxiv.org/pdf/2609.21948v1
• 项目网站：https://puzhenyuan.github.io/GALA-website/