知识卡片：双手工具使用中机器人失败恢复的诊断——哪只手晚了？

一句话结论

这篇论文研究双手工具使用场景下机器人操作失败的诊断问题，区分“工具从插槽滑脱但仍被握着”“两只手动作正确但时序不同步”“一次尝试同时存在两种失败原因”等单臂设定难以覆盖的失败类型，并考察不同传感通道（以及VLM内部状态）能读出哪些失败成因；具体实验细节与数值待核实。

事件概述或研究问题

现有机器人操作失败诊断器多为视觉—语言模型（VLM），其训练与评测通常基于对成功演示做扰动而生成的单臂失败。双手工具使用引入了其他类型的失败：工具仍在被握住时从插槽中滑出、两个各自正确的动作发生在不同时间、以及一次尝试同时因两个原因失败。论文要问的是：在失败成因可从记录轨迹中读取的模拟双手工具使用任务上，每种传感通道分别让诊断器能够判断出什么。（摘要级信息，正文细节待核实）

方法/产品要点

• 任务设定：模拟的双手工具使用任务，失败成因从记录的轨迹（trace）中读取，而非仅靠外部标注（待核实具体仿真平台与任务清单）。
• 失败类型：工具滑脱（仍在被握持）、双手时序错位（哪只手晚了）、以及复合失败（如晚到且推力不足）。
• 传感通道对比：考察工具手、双臂、单手机感等不同观测配置对可诊断性的影响。
• 诊断器形态：涉及VLM作为失败诊断器，并检查其内部状态与最终答案之间的关系。
• 修复策略：提出在成因不可辨识时升级（escalate）的修复策略，并与“被告知真实成因”的修复策略比较。

主要结果或产业意义

• 工具滑脱可在工具手上被读出；哪只手晚了需要双臂信息；单手机感只能读出本手的延迟，至多读出另一只手延迟的一部分。
• 当工具手晚到时，仅凭被动传感无法辨识“晚到的尝试是否同时推力过弱”。
• 在两次尝试之内，对不可辨识成因采取升级的修复策略，其修复失败的数量与被告知真实成因的策略相当。
• VLM内部状态几乎完美地携带“哪只手晚了”的信息，且该方向与其答案所读取的方向并不比随机方向更接近；答案是否报告该信息取决于问题的措辞。 （以上均为摘要层面的结论，具体数值、实验规模与统计显著性待核实）

为什么重要

• 把失败诊断从“单臂+扰动生成”扩展到双手工具使用，指出失败类型的结构性差异会改变可诊断性，而不只是难度变化。
• 提出“可辨识性”视角：某些成因在特定传感配置下原则上不可读出，此时策略应升级而非强行猜测，这为诊断器的可靠性边界提供了判据。
• 揭示VLM“内部知道”与“口头报告”之间的分离，且受提问措辞影响，对以VLM输出作为诊断结论的工程做法构成提醒。
• 与既有“关键词匹配式评测会默认放行”“ToolFailBench”等卡片构成同一脉络：关注失败诊断与评测的有效性边界；本条增量在于把可辨识性问题落到双手工具任务的传感通道层面（该关系为编者判断，待核实）。

局限与不确定性

• 未能抓取正文，以上内容仅基于标题与摘要级元数据，实验平台、基线、样本量与具体指标均待核实。
• 结论是否可迁移到真实机器人硬件、非仿真环境待核实。
• “升级”策略的成本（如人工介入或额外尝试次数）在摘要中未量化，待核实。
• VLM内部状态探测的方法细节（探针类型、方向估计方式）待核实。

可用于图书/PPT/简报的角度

• “传感器决定你能知道什么”：把可辨识性作为机器人失败诊断的第一性问题，而非模型能力问题。
• 双手 vs 单臂：失败类型学的一页对照表（滑脱、时序错位、复合失败）。
• “内部知道但不说”：VLM诊断输出受措辞影响的图示，配“不要只看答案文本”的实践建议。
• 诊断—修复闭环：当成因不可辨识时，升级优于猜测的设计原则。

原始材料

• 标题：Which Hand Was Late? Diagnosis for Robot Failure Recovery in Bimanual Tool Use
• 来源：arXiv，https://arxiv.org/abs/2610.37533v1
• 关键词（英文）：vision–language models; failure diagnosis; bimanual tool use; robot failure recovery; identifiability; repair policy
• 说明：正文未能抓取，本卡片基于标题与摘要级元数据整理，未标注处均为待核实。