知识卡片：从像素到动作——走向原生视觉-语言-动作策略

一句话结论

NEO-VLA 提出一种“无视觉编码器”的视觉-语言-动作框架，让图像 token 与语言在骨干网络中共同演化，并让动作专家从不同深度的指令条件化视觉表征中取用信息；作者据此主张具身控制应从整个计算层级获取视觉表征，而非依赖固定编码器输出（正文未抓取，细节待核实）。

事件概述或研究问题

• 来源为 arXiv 预印本（arXiv:2611.06918v1），标题 From Pixels to Actions - Towards Native Vision-Language-Action Policies，主题归类为基础模型。
• 论文针对的主流范式是：先用视觉编码器把感知压缩成固定表征，再开始动作推理。
• 作者提出的核心质疑是：操作任务往往依赖最容易被这种抽象削弱的视觉信号，例如局部几何、边界、深度和细微状态变化；因此动作策略应当继承固定的视觉终点，还是直接访问不断演化的视觉计算？
• 本卡片仅基于已知元数据与摘要性描述生成，未能抓取正文，方法与实验细节待核实。

方法/产品要点

• 提出 NEO-VLA，一个结构上免视觉编码器的视觉-语言-动作框架（encoder-free VLA）。
• 图像由轻量 patch 卷积层 token 化，并在整个骨干网络中与语言共同演化。
• 一个 flow-matching 动作专家从不同深度的、由指令条件化的视觉表征中提取信息。
• 按摘要性描述，作者在受控比较中对比了“原生架构”与“基于编码器”的对应方案，并做了逐层探测分析。

主要结果或产业意义

以下均为摘要性转述，具体数值与实验设置待核实：

• 在受控比较下，原生（免编码器）架构优于基于编码器的对应方案。
• 全量微调能缩小差距，但并未消除差距；仅靠增加规模也无法弥补该差距。
• 逐层探测显示，对动作关键的信号往往在最终视觉表征之前就已达到峰值。
• 在多种操作场景与分布偏移下，NEO-VLA 取得更强且更稳健的控制表现。

为什么重要

• 若“动作关键信号早于最终视觉表征达峰”成立，则把视觉压缩为单一固定端点的常规做法可能系统性丢失对操作有用的信息。
• 该工作把争论从“换更强的视觉编码器”转向“策略应如何访问视觉计算层级”，为 VLA 架构设计提供了不同于编码器替换路线的思路。
• 与既有卡片的关系：已有卡片分别关注相机视角鲁棒性（CamVLA）、长时程过程推理（神经符号框架）与接触密集灵巧操作（DeCAL）；本条的增量在于质疑视觉编码器这一共同前提本身，属于架构层面的问题重述，而非在既有管线上追加模块。

局限与不确定性

• 正文未能抓取，本卡片不含具体数据集、任务套件、基线配置、成功率数值与消融规模，均待核实。
• “受控比较”“逐层探测”的具体定义与统计显著性待核实。
• 免编码器设计在训练成本、数据效率、高分辨率输入与实时性上的表现待核实。
• 结论是否可推广到灵巧操作之外（如导航、长时程任务）待核实。
• 预印本未经同行评审的状态需在引用时说明。

可用于图书/PPT/简报的角度

• 架构之争：VLA 需要“视觉编码器”吗？——从固定视觉端点到按需访问计算层级。
• “动作关键信号不在最后一层”：逐层探测对多模态模型中间表征利用的启示。
• 规模不是万能的：全量微调与扩大规模都未能消除架构差距这一论点（待核实后引用）。
• 与 CamVLA、DeCAL、神经符号 VLA 等卡片并置，构成“VLA 架构与感知接口”专题页。

原始材料

• 标题：From Pixels to Actions - Towards Native Vision-Language-Action Policies
• 来源：arXiv 预印本
• URL：https://arxiv.org/abs/2611.06918v1
• 版本：v1
• Track：academic；Topics：foundation-model
• 关键词：vision-language-action、encoder-free、flow matching、layer-wise probing、manipulation、distribution shift
• 说明：正文未抓取，以上方法要点与结果均为元数据/摘要性描述，引用前请核对原文。