知识卡片：Show-Harness：仅靠 VLM Agent 即可“玩”机器人

一句话结论

据论文摘要，Show-Harness 通过把机器人控制暴露为 VLM 可推理的离散语义动作单元，并用 embodiment-specific interpreters 确定性落地，展示了一条不增加模型容量、不做昂贵 embodiment-specific pretraining 即可解锁基础 VLM 具身能力的接口路线。

事件概述或研究问题

基础视觉语言模型（VLMs）具有广泛世界智能，但将其转化为机器人控制仍然困难。论文提出 Show-Harness，一个 Embodied Harness，让 VLM 通过连接 intent 与 action 的紧凑语义接口来“play”机器人。研究问题可概括为：合适的接口能否从基础 VLM 中释放可观的具身能力，而无需额外模型容量或昂贵的 embodiment-specific pretraining？材料未给出正式研究问题原文，以上为对摘要的概括。

方法/产品要点

• Show-Harness 暴露 discrete semantic action units，VLM 可自然对其推理；embodiment-specific interpreters 将其确定性地 grounded 为本地机器人动作，VLM 直接负责 fine-grained physical decisions。
• 同一接口演示了两类可行性：一是直接解锁闭源前沿 VLM 进行 zero-shot robot control；二是用少量 GPU-hours 微调小规模开源 VLM，实现低成本部署。
• GUMI（GUI Manipulation Interface）将同一语义动作空间扩展到基于 GUI 的示范收集，使人和 agent 可在无需专用 teleoperation hardware 的情况下跨 embodiment“play”机器人。
• 论文分类为 cs.RO、cs.AI、cs.CV、cs.MM；具体系统实现、接口规格、数据与训练细节在摘要中未展开。

主要结果或产业意义

• 摘要称，大量实验显示配备 Show-Harness 的 VLM agents 在 tasks、embodiments、environments 上稳健泛化，并优于代表性 agentic 与 VLA 范式。
• 作者据此认为，正确的接口可解锁基础 VLM 的 substantial embodied capability，无需额外模型容量或昂贵的 embodiment-specific pretraining。
• 产业上，这暗示两条潜在路径：前沿闭源 VLM 可被直接用于零样本机器人控制；小型开源 VLM 可通过少量微调低成本适配。具体基准、成功率、泛化范围和部署成本仍需核实。

为什么重要

• 它把机器人基础模型的讨论重心从“更大模型/更多具身预训练”转向“VLM 与机器人身体之间的接口设计”。
• 与已有卡片中的 GaP 相比：GaP 关注图式策略多智能体代码编排和内部仿真迭代优化；本材料关注的是 VLM 与 embodiment 之间的语义动作接口，并通过 embodiment-specific interpreter 解耦意图与本地执行。若放入同一 agent/机器人脉络，本条增量是“接口层”而非“策略图生成/仿真自学习”。
• 对图书/简报而言，它可作为“foundation model + robotics”的案例，说明具身能力可能来自模型已有知识与合适接口的组合；但应为实验证据保留待核实标记。

局限与不确定性

• 仅依据摘要，无法核实实验规模、任务集合、embodiment 数量、环境类型、评价指标、基线设置和统计显著性。
• “outperforming representative agentic and VLA paradigms”的具体幅度、公平性和可复现性待核实。
• “few GPU-hours”对应的硬件、微调数据量、开源 VLM 规模待核实。
• “zero-shot robot control”是否完全无需机器人数据、校准或安全约束待核实。
• GUMI 的示范采集质量、跨 embodiment 可用性、安全性和人机交互细节待核实。
• VLM 直接负责 fine-grained physical decisions 时，错误检测、恢复机制与安全保证在摘要中未说明，待核实。
• 论文的同行评审状态、正式发表信息与后续代码/项目页待核实。

可用于图书/PPT/简报的角度

• “接口即能力”：正确语义接口可释放基础模型的具身能力。
• “解耦执行”：VLM 做语义/细粒度决策，embodiment-specific interpreter 做确定性落地。
• “两种部署”：闭源前沿模型零样本控制；小型开源模型少量 GPU-hours 微调。
• “GUMI 降低数据门槛”：用 GUI 示范替代专用遥操作硬件。
• “对比 VLA/agentic 范式”：不一定需要更大模型或昂贵具身预训练。
• 作为案例时，建议配“待核实”标注，避免把摘要主张当作已独立验证结论。

原始材料

• 英文标题：Show-Harness: Just a VLM Agent Can Play Robots
• 英文关键词：材料未单独列出正式关键词；以下保留可检索英文术语：Show-Harness, Embodied Harness, VLM, GUMI (GUI Manipulation Interface), zero-shot robot control, VLA。arXiv 分类：cs.RO, cs.AI, cs.CV, cs.MM。正式关键词列表待核实。
• 作者：Yanzhe Chen, Zechen Bai, Zhijun Cao, Wenzheng Zeng, Kevin Qinghong Lin, Yiqi Lin, Guoqiang Liang, Kevin Yuchen Ma, Qiming Huang, Mike Zheng Shou
• arXiv ID：2609.10522v1
• Published：2026-09-09T17:53:38Z
• Updated：2026-09-09T17:53:38Z
• Primary category：cs.RO
• Categories：cs.RO, cs.AI, cs.CV, cs.MM
• Abstract URL：https://arxiv.org/abs/2609.10522v1
• PDF URL：https://arxiv.org/pdf/2609.10522v1
• Track：academic
• Topics：foundation-model