知识卡片：DeCAL——基于接触感知潜在协同想象的灵巧操作视觉-语言-行动模型

英文标题：DeCAL: Towards Physically-Grounded Dexterous Vision-Language-Action Models via Contact-Aware Latent Co-Imagination

英文关键词：Dexterous Manipulation; Vision-Language-Action (VLA) Model; Tactile Sensing; Contact-Aware Gating; Visuo-Tactile Latent Co-Imagination; Mixture-of-Transformers

一句话结论

DeCAL 是一个面向接触密集灵巧操作的视觉-语言-行动（VLA）模型，结合 Mixture-of-Transformers 架构、接触感知门控的自适应视觉-触觉融合，以及视觉-触觉潜在协同想象，来统一“理解、想象、动作生成”。作者报告其所有任务均达到当前最优，平均成功率为 71%，进度成功率为 83.4%，并能在未见场景上展现较强泛化。

事件概述或研究问题

灵巧操作涉及大量接触和细粒度物理交互，而现有 VLA 模型因视觉遮挡严重、接触动力学复杂，难以直接应对这类任务。近期工作开始引入触觉感知，但多数仍依赖同质化的多模态融合，缺乏适应性的触觉整合机制，也缺乏对物理动力学的显式建模。DeCAL 试图解决的核心问题是：如何让 VLA 在接触密集场景中更“物理接地”地生成动作。

方法/产品要点

• 统一能力框架：DeCAL 将理解、想象与动作生成统一到同一个模型中，面向接触丰富的灵巧操作任务。
• Mixture-of-Transformers（MoT）架构：为不同能力分配专门专家，同时保留专家之间的高效信息流动。具体专家职责与路由机制摘要未展开。
• 自适应视觉-触觉融合：提出接触感知门控策略，动态调节触觉信息的交互强度，而非简单把触觉作为一种同质特征拼接进模型。
• 视觉-触觉潜在协同想象：在隐空间联合建模视觉动态与触觉动态，使策略具备隐式物理世界知识。该方法的具体训练目标与“想象”形式待核实。

主要结果或产业意义

• 报告结果：DeCAL 在所有任务上均达到当前最优性能；平均成功率为 71%，进度成功率为 83.4%；同时具备对未见场景的泛化能力。
• 应用指向：该工作主要面向灵巧操作机器人/机械手，强调多模态融合与物理动态建模，适合关注具身智能、灵巧操作、触觉感知与 VLA 模型的人群。
• 待核实：任务集合、基准对比、机器人平台、触觉传感器、成功率判定方式、未见场景类型，以及实际产业部署门槛等细节，均需查看完整论文后确认。

为什么重要

DeCAL 代表的是“VLA 模型 + 接触感知”的模型层设计思路：不是仅在输入端加入触觉信号，而是通过接触感知门控与视觉-触觉潜在动力学建模，让触觉信息更主动地参与动作生成。

与既有相关卡片相比，本条补充的是正向模型设计视角：

• ContactGuard 关注动作块执行前的接触风险预警；DeCAL 则把视觉与触觉动力学放在隐空间中联合建模，用于生成接触密集任务的动作。
• UniTexture 显示 VLA 容易被纹理扰动攻击；DeCAL 试图通过接触感知和物理动态建模增强模型在接触场景内的能力。
• 关于 VLA 推理忠实性的卡片讨论模型是否“言行一致”；DeCAL 则给出“理解—想象—动作生成”的统一结构样例，为后续研究提供模型能力组织方式的参考。

局限与不确定性

• 本卡片仅依据 arXiv 摘要与元数据生成，未获取完整论文正文；许多实验细节无法确认。
• “物理接地”与“隐式物理世界知识”具体如何度量、如何验证，摘要中未说明。
• “71% 平均成功率”和“83.4% 进度成功率”对应的任务、基线和成功判据尚待核实。
• “全部任务”具体指哪些任务、是否存在标准差或多轮重复实验，均未知。
• MoT 的专家划分、训练损失、触觉输入表示、以及各模块的消融贡献，仍需阅读原文确认。

可用于图书/PPT/简报的角度

• 角度一：触觉不是“二等模态”。 从同质多模态融合到接触感知门控融合，展示 DeCAL 如何动态调节触觉信息的作用。
• 角度二：让 VLA 学会“想象”。 视觉-触觉潜在协同想象为动作生成注入隐式物理动态知识，适合放入“具身智能与世界模型”章节。
• 角度三：Transformer 架构的能力分工。 用 Mixture-of-Transformers 区分理解、想象与动作生成，可用于模型设计图解。
• 角度四：指标引用示例。 可引用“平均成功率 71%、进度成功率 83.4%、所有任务 SOTA”等表述，但应注明“基于作者报告，细节待核实”。

原始材料

• 英文标题：DeCAL: Towards Physically-Grounded Dexterous Vision-Language-Action Models via Contact-Aware Latent Co-Imagination
• arXiv ID：2609.09119v1
• 作者（来自 arXiv 元数据）：Yankai Fu, Ning Chen, Junkai Zhao, Heng Zhang, Guocai Yao, Pengwei Wang, Zhongyuan Wang, Shanghang Zhang
• 发布/更新时间：2026-09-08T17:47:43Z
• 分类：cs.RO; cs.AI
• 摘要 URL：https://arxiv.org/abs/2609.09119v1
• PDF URL：https://arxiv.org/pdf/2609.09119v1
• 项目网站：https://aureleopku.github.io/DeCAL