AI消息速览

李飞飞团队发布触觉模型T-Rex,灵巧手成功率翻倍

事件日期 2026-07-27 · 产业观察 · 已接受

事件日期2026-07-27
信息日期2026-07-27
入库日期2026-07-27
通道产业观察
状态已接受
来源腾讯研究院(搜狐同步)

知识卡片:李飞飞团队发布触觉模型T-Rex,灵巧手成功率翻倍

一句话结论:李飞飞、Jim Fan等团队提出触觉模型T-Rex,在12项真实灵巧操作任务中使平均成功率从纯视觉基线的35%提升至65%,证明触觉是灵巧操作的必选项。

事件概述:李飞飞、Jim Fan等具身智能领域研究者联合推出灵巧手触觉模型T-Rex。该模型采用Mixture-of-Transformer-Experts架构,为触觉信号单独开辟高速处理通路,并使用Cascaded Flow Matching在去噪第4步进行模态切换,通过VQ-VAE将力历史数据压缩为离散码字。模型经过人类视频预训练、遥操作中期训练以及百条演示后训练三阶段,在12项真实操作任务中平均成功率达65%。

方法/产品要点

  • 架构:Mixture-of-Transformer-Experts,为触觉单开高速通路。
  • 关键机制:Cascaded Flow Matching(在去噪第4步切换模态)、VQ-VAE(将力历史压缩为离散码字)。
  • 训练流程:三阶段——人类视频预训练、遥操作中期训练、百条演示后训练。

主要结果

  • 在12项真实操作任务中,T-Rex平均成功率为65%,相比纯视觉基线的35%提升30个百分点(成功率翻倍)。
  • 触觉被证明是灵巧操作的必选项而非锦上添花(待核实具体对比实验细节)。

为什么重要:该研究直接量化了触觉信息对灵巧操作的增益,从“是否重要”的定性讨论推进到“能提升30个百分点”的定量证据,为具身智能中多模态融合提供了关键数据支撑。

局限与不确定性

  • 仅测试了12项真实操作任务,未说明任务多样性与难度分布。
  • 纯视觉基线的具体配置(如是否使用深度、是否多视角)未在摘要中说明。
  • 触觉传感器成本、鲁棒性及泛化到未见物体或环境的效果待核实。
  • 三阶段训练的算力需求与数据采集难度未提及。

可用于图书/PPT/简报的角度

  • 具身智能中触觉感知的必要性:从“锦上添花”到“必选项”的实证突破。
  • 混合专家架构(MoE)在机器人多模态融合中的新应用。
  • 触觉作为关键信息通道:对比纯视觉局限性,展示触觉对精细操作(如灵巧手)的不可替代性。

与既有脉络的关系:本卡片聚焦触觉模型在灵巧操作中的量化提升,与已有卡片(如1X世界模型实验室成立、Meshy 3D融资、晶体生成等)无事实重复,可作为具身智能传感方向的增量案例。

原始材料

  • URL: https://m.sohu.com/a/1055048777_455313?scm=10001.325_13-325_13.0.0-0-0-0-0.5_1334&digest_item=7
  • 来源:腾讯研究院AI速递 20260727
  • 英文标题(待核实官方论文标题):T-Rex(触觉模型名,全称待确认)
  • 英文关键词:Tactile model, dexterous manipulation, Mixture-of-Transformer-Experts, VQ-VAE, Cascaded Flow Matching, embodied AI