AI消息速览

TANGO——面向杂乱环境人形导航的全身视觉-语言-行动模型

事件日期 2026-09-08 · 学术前沿 · 已接受

事件日期2026-09-08
信息日期2026-09-08
入库日期2026-09-09
通道学术前沿
状态已接受
来源arXiv 论文

知识卡片:TANGO——面向杂乱环境人形导航的全身视觉-语言-行动模型

一句话结论

TANGO 提出一种“全身视觉-语言-导航”框架,将自然语言指令与第一视角 RGB 观测直接映射为人形机器人的 29 自由度关节空间动作,在仿真中训练并在 Unitree G1 人形机器人上零样本部署于杂乱真实场景;论文称其为该方向首个工作,但具体性能数值与实验细节待核实。

英文标题与关键词

  • 英文标题:TANGO: Humanoid Navigation in Cluttered Environments with a Whole-Body Vision-Language-Action Model
  • 英文关键词:TANGO; Humanoid Navigation; Whole-Body Vision-Language-Action Model; Cluttered Environments; 29-DoF Joint-Space Actions

事件概述或研究问题

传统导航常被建模为 2D 路径规划问题,但人形机器人在杂乱室内空间穿越时,需要持续的几何感知与全身适应,包括协调手臂放置、调整躯干、调节步态,才能在复杂 3D 空间中无碰撞移动。TANGO 研究的问题正是:能否用视觉-语言-行动模型直接学习这种语言条件化的人形杂乱环境穿越行为,而不是将导航简化为 2D 规划再加低层控制。

方法/产品要点

  • 输入:自然语言指令 + 第一视角(egocentric)RGB 观测。
  • 输出:直接预测 29-DoF 关节空间动作,供下游全身控制使用。
  • 训练完全在仿真中完成,通过多条管线合成多样化的无碰撞穿越行为:全局路径规划、运动学全身运动生成、障碍物感知的运动编辑、基于强化学习的跟踪。
  • 该训练管线提供动态可行的动作监督,用于学习语言条件化的全身策略。

主要结果或产业意义

  • 在仿真实验中,论文声称 TANGO 在视觉语言导航任务上达到 state-of-the-art 性能,并在需要障碍物协商的挑战性场景中优于强模块化基线。
  • 在 Unitree G1 人形机器人上进行了零样本部署,未使用任何真实世界导航数据,论文观察到鲁棒的语言引导杂乱场景穿越行为。
  • 具体的成功率、量化指标、真实场景样本量等信息摘要中未提供,待核实。

为什么重要

  • 将 VLA 模型从常见的桌面操作或二维导航扩展到“全身 + 三维杂乱空间”的人形导航,直接生成高维关节动作,而不是只输出路径点或末端速度。
  • 与已有相关卡片中的 TurboVLA、FibVLA 等工作侧重推理效率或时序建模不同,TANGO 的增量在于任务设定和动作空间:输入语言指令与第一视角 RGB,输出 29-DoF 全身动作,并给出仿真训练 + 真实机器人零样本部署的初步证据。
  • 若结果可靠,可能为人形机器人在家庭、仓储等杂乱环境中的语言引导移动提供新的学习范式。

局限与不确定性

  • 当前信息仅来自 arXiv 摘要,完整论文中的仿真设置、基线对比、真实世界实验细节、失败案例等均待核实。
  • “零样本”指未使用真实世界导航数据训练,但不代表不存在 sim-to-real 差距;对动态障碍、未知物体、闭环稳定性等问题的处理未在摘要中说明。
  • 29-DoF 动作是否对应完整 Unitree G1 自由度、如何与底层控制器衔接,材料未明确说明,待核实。
  • “首个全身 VLA 导航框架”是论文自述,需要结合文献调研和同行评议进一步确认。

可用于图书/PPT/简报的角度

  • 机器人导航的范式转变:从 2D 路径规划走向全身 3D 行为生成。
  • 语言指令如何驱动人形机器人的手臂、躯干和步态协同避障。
  • 仿真训练 + 零样本真实部署:一种大规模生成多样穿行行为的训练管线示例。
  • VLA 模型的新边界:不只控制机械臂末端,而是控制整个人形机器人完成语言引导的移动任务。

与既有脉络的关系

已有相关卡片中的 VLA 工作主要关注操作任务的实时性、时序效率与推理忠实性。TANGO 的增量信息在于把 VLA 用到了全身体控制的人形导航:输入语言指令与第一视角 RGB,输出 29-DoF 动作,训练完全在仿真中完成,并以零样本方式部署到 Unitree G1。它不直接延续 TurboVLA/FibVLA 的架构或实验,而是在“任务范围”上扩展了 VLA 的适用域。

原始材料

  • 英文标题:TANGO: Humanoid Navigation in Cluttered Environments with a Whole-Body Vision-Language-Action Model
  • arXiv ID:2609.09158v1
  • 作者:Anqi Li, Yuxin Chen, Zhaobo Li, Zhuo Cao, Junli Ren, Masayoshi Tomizuka, Dhruv Shah
  • 提交/更新时间:2026-09-08
  • 分类:cs.RO; cs.AI
  • 来源 URL:https://arxiv.org/abs/2609.09158v1

发现内容有误?

免登录提交,管理员审核并完成修正后才会公开修订说明。

值得关注

将 VLA 模型从常见的桌面操作或二维导航扩展到“全身 + 三维杂乱空间”的人形导航,直接生成高维关节动作,而不是只输出路径点或末端速度。 与已有相关卡片中的 TurboVLA、FibVLA 等工作侧重推理效率或时序建模不同,TANGO 的增量在于任务设定和动作空间:输入语言指令与第一视角 RGB,输出 29-DoF 全身动作,并给出仿真训练 + 真实机器…

相关主题

对应的教材知识点

教材知识点匹配尚未完成。