AI消息速览

理想推出触觉世界模型ME-Dex-1.0,可预测触觉

事件日期 2026-09-23 · 产业观察 · 已接受

事件日期2026-09-23
信息日期2026-09-23
入库日期2026-09-23
通道产业观察
状态已接受
来源腾讯研究院(搜狐同步)

知识卡片:理想推出触觉世界模型ME-Dex-1.0,可预测触觉

一句话结论

理想 Foundation Model 团队发布世界动作触觉模型 ME-Dex-1.0,将触觉与视频共同作为需预测的未来世界状态,并联合去噪视频、触觉与动作序列;材料称其在 RoboTwin、DexJoCo、ManiFeel 上取得领先或明显提升,但正式论文、开源情况与独立复现待核实。

事件概述或研究问题

  • 来源:腾讯研究院AI速递 20260923 第四条。
  • 事件:理想 Foundation Model 团队发布世界动作触觉模型 ME-Dex-1.0。
  • 研究问题:如何把触觉纳入机器人世界模型,使模型不仅预测视觉未来,也预测接触/触觉未来,并服务灵巧操作。
  • 关键设定:触觉与视频共同作为“需预测的未来世界状态”。

方法/产品要点

  • 联合建模:视频、触觉与动作序列进行联合去噪。
  • 触觉统一表示:把异构触觉数据映射到“双手 34 区域模板”。
  • 架构:采用视觉、触觉、动作三专家架构,并使用 H-Bridge 共享注意力。
  • 数据扩充:使用自主式触觉数据引擎扩充仿真数据。
  • 英文关键词(材料可确认):ME-Dex-1.0、Foundation Model、H-Bridge、RoboTwin、DexJoCo、ManiFeel;英文标题及其他英文关键词待核实。

主要结果或产业意义

  • RoboTwin:成功率领先最强基线 7.6 个百分点。
  • DexJoCo:11 项任务中 7 项第一。
  • ManiFeel:电源插头插入成功率由 58% 升至 88%。
  • 产业意义:若结果可复现,触觉预测可能补足视觉/动作模型在接触密集任务中的信息缺口,对插拔、装配、精密操作等场景有参考价值;也把“世界模型”的预测对象从视觉扩展到触觉与动作。

为什么重要

  • 本条把触觉作为未来状态的一部分来预测,而不只是观测输入,使模型有机会学习接触发生前后的动态。
  • 与已有卡片的关系:已有 π0.7 卡片关注通用机器人基础模型与组合泛化;本条增量在于强调“触觉-视频-动作”联合预测、双手 34 区域触觉模板与 H-Bridge 共享注意力。
  • 对基础模型与机器人学习而言,这是多模态世界模型向物理接触模态扩展的一个案例;具体影响仍需论文与复现验证。

局限与不确定性

  • 原始材料仅为速递摘要,未提供正式论文、技术报告、项目页或开源代码链接,待核实。
  • 评测协议、基线设置、训练/测试划分、真实机器人部署情况、统计显著性与复现结果,待核实。
  • “自主式触觉数据引擎”的具体机制、仿真到真实迁移效果、触觉传感器兼容性,待核实。
  • 双手 34 区域模板的定义、映射误差与跨传感器迁移能力,待核实。
  • 模型规模、训练成本、推理延迟、商业化与开源许可,待核实。

可用于图书/PPT/简报的角度

  • 世界模型的新模态:从“看世界”到“摸世界”。
  • 触觉预测为何对插拔、装配、柔顺操作等接触密集任务重要。
  • 异构触觉数据标准化:双手 34 区域模板作为统一接口的案例。
  • 三专家与共享注意力:视觉、触觉、动作专家的协作设计。
  • 数据瓶颈方案:用自主式触觉数据引擎扩充仿真数据。
  • 评测叙事:RoboTwin、DexJoCo、ManiFeel 三类结果如何构成证据链。

与既有脉络的关系

  • 与 ParseBench 卡片无直接事实重叠。
  • 与 π0.7 卡片相比,本条不是重复“通用机器人基础模型/组合泛化”,而是补充“触觉进入未来状态预测”的增量方向;若后续出现正式论文,可与 π0.7 并列为机器人基础模型多模态化的案例链。

原始材料

  • Fetched title:腾讯研究院AI速递 20260923
  • 原始来源:腾讯研究院AI速递 20260923
  • 条目:四、理想推出触觉世界模型ME-Dex-1.0,可预测触觉
  • URL: https://m.sohu.com/a/1079646096_455313?scm=10001.325_13-325_13.0.0-0-0-0-0.5_1334&digest_item=4
  • Parent URL: https://m.sohu.com/a/1079646096_455313?scm=10001.325_13-325_13.0.0-0-0-0-0.5_1334
  • 来源摘录:理想Foundation Model团队发布世界动作触觉模型ME-Dex-1.0,将触觉与视频共同作为需预测的未来世界状态,联合去噪视频、触觉与动作序列;模型把异构触觉数据映射到双手34区域模板,采用视觉、触觉、动作三专家架构与H-Bridge共享注意力,并用自主式触觉数据引擎扩充仿真数据;RoboTwin成功率领先最强基线7.6个百分点,DexJoCo 11项任务中7项第一,ManiFeel电源插头插入成功率由58%升至88%。

发现内容有误?

免登录提交,管理员审核并完成修正后才会公开修订说明。

值得关注

本条把触觉作为未来状态的一部分来预测,而不只是观测输入,使模型有机会学习接触发生前后的动态。 与已有卡片的关系:已有 π0.7 卡片关注通用机器人基础模型与组合泛化;本条增量在于强调“触觉-视频-动作”联合预测、双手 34 区域触觉模板与 H-Bridge 共享注意力。 对基础模型与机器人学习而言,这是多模态世界模型向物理接触模态扩展的一个案例;具体影响仍…

相关主题

对应的教材知识点

教材知识点匹配尚未完成。