知识卡片：Patch Policy：通过密集视觉表示实现高效具身控制

英文标题：Patch Policy: Efficient Embodied Control via Dense Visual Representations

英文关键词：Patch Policy, Dense Visual Representations, Block-Causal Attention, Robot Learning, Transformer Policies

一句话结论

Patch Policy 是一种轻量级架构扩展，使基于 Transformer 的机器人策略能直接利用预训练的密集补丁令牌（patch tokens），在不引入完整视觉语言模型（VLM）巨大计算开销的前提下，显著提升控制性能——在多个模拟与真实环境套件中相比全局池化表示提升40%，相比微调后的 OpenVLA-OFT 提升18%，而参数量仅为后者的约0.7%。

事件概述或研究问题

现有机器人策略要么将每个观测压缩为单个全局令牌（丢失精细空间细节），要么使用从头训练的视觉骨干（无法利用大规模视觉预训练的优势）。虽然大型视觉-语言-动作模型（VLA）能操作密集补丁特征，但它们继承了十亿参数 VLM 的全部计算成本，导致体量大、速度慢。本文旨在填补这一空白：在保持策略训练效率和推理速度的前提下，让 Transformer 策略高效吸收并利用预训练的密集视觉特征。

方法/产品要点

核心机制：块因果注意力掩码（block-causal attention mask），它保留了标准策略的时间因果性，同时允许模型在每次观测中关注多个补丁令牌以及额外的状态信息。这是一种“最小架构扩展”，无需完整 VLM 的计算开销。
直接使用来自 Vision Transformer（ViT）的预训练密集补丁特征，而不是压缩为全局令牌或从头训练视觉骨干。
保持轻量和快速，适合高频反应式控制所需的训练和推理效率。

主要结果或产业意义

在4个模拟环境套件和3个真实世界环境套件中，相比使用最先进全局池化表示的策略，取得了40%的相对改进。
超越微调后的 OpenVLA-OFT 18%，同时仅使用后者约0.7%的参数量。
表明轻量级密集视觉特征可以直接赋能高效具身控制，无需依赖庞大的多模态模型。

为什么重要

为机器人社区提供了一条实用流水线：可以方便地持续利用视觉表示学习（如 ViT）的进步，而无需牺牲高频率、反应式控制所需的训练效率和推理速度。
标志着从“全局池化”或“从头训练”向“轻量化密集预训练特征”的重要转变，缩小了视觉预训练与机器人策略部署之间的隔阂。
增量信息：与已有使用 VLA 的工作（如 OpenVLA）不同，Patch Policy 在保持相似甚至更优性能的同时，参数规模降低两个数量级，使在资源受限的机器人平台上部署成为可能。

局限与不确定性

原文未明确讨论局限；可推测依赖于预训练 ViT 的可获得性，且块因果注意力掩码的设计对特定任务是否最优尚待验证（待核实）。
在极端需要时空全局理解的任务中，密集补丁策略是否会因局部注意力而遗漏长程依赖？材料未涉及（待核实）。

可用于图书/PPT/简报的角度

介绍具身智能中“视觉表示压缩 vs. 计算开销”的 trade-off，并以 Patch Policy 展示如何在轻量架构中实现“鱼与熊掌兼得”。
对比三种范式：全局池化策略、从头训练策略、VLA 策略，突出 Patch Policy 的定位与优势。
突出“约0.7%参数达到18%超越”的数据，用于说明架构精简的力量。

原始材料

论文标题：Patch Policy: Efficient Embodied Control via Dense Visual Representations
arXiv ID：2607.18236v1
论文摘要与 PDF：https://arxiv.org/abs/2607.18236v1
演示视频：https://patch-policy.github.io