AI消息速览

EgoLAP——通过语言-行动推理从第一视角人类数据中学习

事件日期 2026-10-06 · 学术前沿 · 已接受

事件日期2026-10-06
信息日期2026-10-06
入库日期2026-10-08
通道学术前沿
状态已接受
来源arXiv 论文

知识卡片:EgoLAP——通过语言-行动推理从第一视角人类数据中学习

一句话结论

EgoLAP 是一个 VLA 预训练框架:它不把原始人类轨迹直接作为控制监督,而是把运动意图表示为结构化、时间抽象的语言动作,并搭配运动级推理,从而将第一视角人类经验迁移到机器人控制。摘要报告其真实世界平均任务进度达 80.1%,相比替代动作表示有 2.3 倍提升。

事件概述或研究问题

  • 第一视角人类数据有望突破昂贵机器人演示对机器人学习扩展的限制。
  • 但人类与机器人之间存在具身差距(embodiment gap),原始人类轨迹作为控制监督目标效果较差。
  • 核心洞察:低层动作虽具身特定,但其底层运动意图可捕捉跨人类与机器人迁移的任务相关结构。

方法/产品要点

  • 提出 EgoLAP,一种 VLA 预训练框架。
  • 通过共享的、基于语言的动作思维链(language-based action chain-of-thought),联合从人类轨迹与机器人轨迹中学习。
  • 将运动意图表达为结构化、时间抽象的语言动作。
  • 将这些语言动作与运动级推理配对;该推理以场景几何、物理和物体可供性(object affordances)为基础。
  • 模型架构、训练数据规模、机器人平台、模拟环境、训练目标等细节:待核实(源材料仅提供摘要与元数据)。

主要结果或产业意义

  • 在大量真实世界和模拟实验中,EgoLAP 比替代动作表示更有效地将人类经验迁移到机器人控制。
  • 达到 80.1% 的平均真实世界任务进度,相比替代动作表示有 2.3 倍性能提升。
  • 运动级推理优于一种组合推理格式:该格式结合子任务(subtask)、物体框(object-box)和视觉轨迹(visual-trace)推理。
  • 产业意义:若结果可复现,该路线可减少对昂贵机器人演示的依赖,把第一视角人类数据转化为可扩展的机器人预训练资源;但成本、数据获取与部署条件待核实。

为什么重要

  • 它把“跨具身迁移”问题从直接对齐低层动作,转向共享的语义/语言动作抽象,可能为 VLA 预训练提供一种数据扩展接口。
  • 与既有 VLA 忠实性卡片的关系:既有卡片关注 VLA 是否“言出必行”的忠实性;本条关注用语言-行动推理实现人类到机器人的迁移与预训练,增量在于提出共享语言动作思维链与运动级推理,并报告真实世界任务进度指标,但未涉及忠实性评测。
  • 其余既有卡片与本文问题设定不同,本条不重复其事实陈述。

局限与不确定性

  • 仅依据 arXiv 摘要与元数据,未获取全文;实验设置、基线定义、统计显著性、消融、失败案例、计算成本、真实世界任务进度定义等均待核实。
  • “80.1%”与“2.3x”的具体口径、任务集合、机器人平台、替代动作表示的具体内容待核实。
  • 是否经过同行评审、是否可复现、人类第一视角数据的规模与采集条件待核实。
  • “运动级推理优于组合推理格式”的效应大小和评测范围待核实。

可用于图书/PPT/简报的角度

  • 机器人学习的数据扩展:从机器人演示到第一视角人类数据。
  • 具身差距的表示层解法:不以低层动作对齐,而以语言化运动意图对齐。
  • 语言作为动作抽象层:language-based action chain-of-thought 与运动级推理。
  • VLA 预训练中的混合数据:人类轨迹 + 机器人轨迹联合学习。
  • 评测叙事:真实世界平均任务进度与相对替代动作表示的提升。
  • 批判性讨论:摘要结果与全文证据之间的差距;跨具身迁移的可复现性与安全性。

原始材料

  • 英文标题:EgoLAP: Learning from Egocentric Human Data through Language-Action Reasoning
  • 作者:Lihan Zha, Shresth Grover, Tenny Yin, Samuel M. Bateman, Hengkai Pan, Mengchao Zhang, Aykut Onol, Allen Z. Ren, Dhruv Shah, Anirudha Majumdar
  • 发布/更新:2026-10-06T17:30:33Z
  • arXiv ID:2610.08726v1
  • 主分类:cs.RO;分类:cs.RO, cs.AI
  • 原始来源:https://arxiv.org/abs/2610.08726v1
  • PDF:https://arxiv.org/pdf/2610.08726v1
  • 英文关键词:待核实(源材料未提供关键词字段);主题词(依据摘要/主题整理):foundation-model, VLA, egocentric human data, language-action reasoning, chain-of-thought, robot learning, embodiment gap

发现内容有误?

免登录提交,管理员审核并完成修正后才会公开修订说明。

值得关注

它把“跨具身迁移”问题从直接对齐低层动作,转向共享的语义/语言动作抽象,可能为 VLA 预训练提供一种数据扩展接口。 与既有 VLA 忠实性卡片的关系:既有卡片关注 VLA 是否“言出必行”的忠实性;本条关注用语言-行动推理实现人类到机器人的迁移与预训练,增量在于提出共享语言动作思维链与运动级推理,并报告真实世界任务进度指标,但未涉及忠实性评测。 其余既有…

相关主题

对应的教材知识点

教材知识点匹配尚未完成。