AI消息速览

手术世界-动作模型(Surgical WAM)——数据高效手术机器人学习

事件日期 2026-08-11 · 学术前沿 · 已接受

事件日期2026-08-11
信息日期2026-08-11
入库日期2026-08-13
通道学术前沿
状态已接受
来源arXiv 论文

知识卡片:手术世界-动作模型(Surgical WAM)——数据高效手术机器人学习

一句话结论

在固定动作标注示范预算下,先利用无动作内窥镜视频预训练手术视觉动态、再微调联合动作预测的 Surgical WAM,将四个模拟手术操作任务的平均成功率从 63.5% 提升至 77.8%,说明无动作视频可以为手术机器人闭环控制提供可迁移的视觉动态先验。

事件概述或研究问题

手术机器人策略学习的一个主要瓶颈是动作标注示范稀缺:遥操作手术机器人(如 dVRK)的同步视频-运动学轨迹采集成本高,而手术任务又要求精确接触处理、长程推理和双臂协调。内窥镜视频相对廉价且丰富。已有手术世界模型虽然利用视频,但大多用于仿真或策略评估,很少把学到的动态转化为闭环控制。

Surgical WAM 的核心研究问题是:在固定的动作标注示范预算下,无动作视频预训练能否提升闭环手术操作?

方法/产品要点

  • 统一生成模型:基于 Cosmos Policy 构建,联合预测未来内窥镜观察和可执行手术机器人动作块(action chunks)。
  • 两阶段训练:先在无动作视频上学习手术视觉动态;随后在固定的动作标注预算上进行微调。
  • 闭环部署:采用滚动时域(receding-horizon)控制,执行每个预测动作块中的一个短前缀,再根据实际观察重新规划。
  • 模型参数规模、视频数据集规模与训练计算量等细节待核实。

主要结果或产业意义

  • 在四个模拟手术操作任务上,无动作视频预训练将平均成功率从 63.5% 提高到 77.8%。
  • PegTransfer 任务获得 20 个百分点的绝对提升;提升最大的场景是接触丰富(contact-rich)和双臂(bimanual)任务。
  • 产业意义:视频预训练提供可迁移的视觉动态先验,为在动作监督有限条件下扩大手术机器人学习规模提供了一条更实用的数据高效路径。

为什么重要

已有手术世界模型通常把视频用于仿真或策略评估,Surgical WAM 则将视频预训练学到的视觉动态直接用于闭环控制,并验证了无动作视频对动作监督稀缺场景的增益。对数据采集昂贵的手术机器人领域而言,这意味着更多可得的视频数据可能部分替代遥操作动作标注,从而降低规模化学习成本。

与既有脉络的关系

与自动驾驶领域的 SimWAM 同属 World-Action Model 思路,但 SimWAM 训练后丢弃视频分支、只保留轻量轨迹预测器;Surgical WAM 在手术机器人场景中联合预测视频和动作,并在部署时作为滚动时域闭环控制器使用。与 WCM 相比,WCM 关注 VLA 强化学习后训练中评论家的时间动态表征,而 Surgical WAM 关注动作标注稀缺下的视频预训练与微调。本条是对 World-Action Model 在手术操作方向上的延续。

局限与不确定性

  • 结果均来自模拟手术任务,真实手术机器人上的效果、安全性和泛化性待核实。
  • 候选摘要未给出固定动作标注预算的具体规模、无动作视频数据来源/规模,以及基线配置;这些细节待核实。
  • 摘要未报告消融实验和计算成本;Surgical WAM 相对于其他视频预训练方法的具体优势待核实。
  • 源页面正文未能抓取,以上内容主要基于候选摘要生成。

可用于图书/PPT/简报的角度

  • 数据效率主题:用相对便宜的视频预训练弥补动作标注稀缺,Surgical WAM 可作为一个典型示例。
  • 世界模型角色转变:从“只看不做的仿真器/评估器”到“能闭环执行的手术世界-动作模型”。
  • 跨领域对比:与 SimWAM(自动驾驶)对照,展示 WAM 在手术机器人中的设计差异与共性。

原始材料

  • 英文标题:Surgical WAM: A World-Action Model for Data-Efficient Surgical Robot Learning
  • 英文关键词(根据标题与摘要提炼,原文未显式给出关键词,待核实):Surgical World-Action Model; Surgical Robot Learning; Video Pretraining; Data-Efficient Learning; Closed-Loop Control
  • 原始来源:https://arxiv.org/abs/2608.11204v1
  • Track:academic
  • Topics:foundation-model
  • 说明:源页面正文未能抓取,本卡片基于候选摘要元数据整理;未在候选摘要中明确的信息均已标注“待核实”。