知识卡片:理想推出触觉世界模型ME-Dex-1.0,可预测触觉
一句话结论
理想 Foundation Model 团队发布世界动作触觉模型 ME-Dex-1.0,将触觉与视频共同作为需预测的未来世界状态,并联合去噪视频、触觉与动作序列;材料称其在 RoboTwin、DexJoCo、ManiFeel 上取得领先或明显提升,但正式论文、开源情况与独立复现待核实。
事件概述或研究问题
- 来源:腾讯研究院AI速递 20260923 第四条。
- 事件:理想 Foundation Model 团队发布世界动作触觉模型 ME-Dex-1.0。
- 研究问题:如何把触觉纳入机器人世界模型,使模型不仅预测视觉未来,也预测接触/触觉未来,并服务灵巧操作。
- 关键设定:触觉与视频共同作为“需预测的未来世界状态”。
方法/产品要点
- 联合建模:视频、触觉与动作序列进行联合去噪。
- 触觉统一表示:把异构触觉数据映射到“双手 34 区域模板”。
- 架构:采用视觉、触觉、动作三专家架构,并使用 H-Bridge 共享注意力。
- 数据扩充:使用自主式触觉数据引擎扩充仿真数据。
- 英文关键词(材料可确认):ME-Dex-1.0、Foundation Model、H-Bridge、RoboTwin、DexJoCo、ManiFeel;英文标题及其他英文关键词待核实。
主要结果或产业意义
- RoboTwin:成功率领先最强基线 7.6 个百分点。
- DexJoCo:11 项任务中 7 项第一。
- ManiFeel:电源插头插入成功率由 58% 升至 88%。
- 产业意义:若结果可复现,触觉预测可能补足视觉/动作模型在接触密集任务中的信息缺口,对插拔、装配、精密操作等场景有参考价值;也把“世界模型”的预测对象从视觉扩展到触觉与动作。
为什么重要
- 本条把触觉作为未来状态的一部分来预测,而不只是观测输入,使模型有机会学习接触发生前后的动态。
- 与已有卡片的关系:已有 π0.7 卡片关注通用机器人基础模型与组合泛化;本条增量在于强调“触觉-视频-动作”联合预测、双手 34 区域触觉模板与 H-Bridge 共享注意力。
- 对基础模型与机器人学习而言,这是多模态世界模型向物理接触模态扩展的一个案例;具体影响仍需论文与复现验证。
局限与不确定性
- 原始材料仅为速递摘要,未提供正式论文、技术报告、项目页或开源代码链接,待核实。
- 评测协议、基线设置、训练/测试划分、真实机器人部署情况、统计显著性与复现结果,待核实。
- “自主式触觉数据引擎”的具体机制、仿真到真实迁移效果、触觉传感器兼容性,待核实。
- 双手 34 区域模板的定义、映射误差与跨传感器迁移能力,待核实。
- 模型规模、训练成本、推理延迟、商业化与开源许可,待核实。
可用于图书/PPT/简报的角度
- 世界模型的新模态:从“看世界”到“摸世界”。
- 触觉预测为何对插拔、装配、柔顺操作等接触密集任务重要。
- 异构触觉数据标准化:双手 34 区域模板作为统一接口的案例。
- 三专家与共享注意力:视觉、触觉、动作专家的协作设计。
- 数据瓶颈方案:用自主式触觉数据引擎扩充仿真数据。
- 评测叙事:RoboTwin、DexJoCo、ManiFeel 三类结果如何构成证据链。
与既有脉络的关系
- 与 ParseBench 卡片无直接事实重叠。
- 与 π0.7 卡片相比,本条不是重复“通用机器人基础模型/组合泛化”,而是补充“触觉进入未来状态预测”的增量方向;若后续出现正式论文,可与 π0.7 并列为机器人基础模型多模态化的案例链。
原始材料
- Fetched title:腾讯研究院AI速递 20260923
- 原始来源:腾讯研究院AI速递 20260923
- 条目:四、理想推出触觉世界模型ME-Dex-1.0,可预测触觉
- URL: https://m.sohu.com/a/1079646096_455313?scm=10001.325_13-325_13.0.0-0-0-0-0.5_1334&digest_item=4
- Parent URL: https://m.sohu.com/a/1079646096_455313?scm=10001.325_13-325_13.0.0-0-0-0-0.5_1334
- 来源摘录:理想Foundation Model团队发布世界动作触觉模型ME-Dex-1.0,将触觉与视频共同作为需预测的未来世界状态,联合去噪视频、触觉与动作序列;模型把异构触觉数据映射到双手34区域模板,采用视觉、触觉、动作三专家架构与H-Bridge共享注意力,并用自主式触觉数据引擎扩充仿真数据;RoboTwin成功率领先最强基线7.6个百分点,DexJoCo 11项任务中7项第一,ManiFeel电源插头插入成功率由58%升至88%。
发现内容有误?
免登录提交,管理员审核并完成修正后才会公开修订说明。
值得关注
本条把触觉作为未来状态的一部分来预测,而不只是观测输入,使模型有机会学习接触发生前后的动态。 与已有卡片的关系:已有 π0.7 卡片关注通用机器人基础模型与组合泛化;本条增量在于强调“触觉-视频-动作”联合预测、双手 34 区域触觉模板与 H-Bridge 共享注意力。 对基础模型与机器人学习而言,这是多模态世界模型向物理接触模态扩展的一个案例;具体影响仍…
相关主题
对应的教材知识点
教材知识点匹配尚未完成。