知识卡片：当 VLM 摧毁它们已知的内容：空间表征低于词汇先验

一句话结论

多项视觉-语言模型（VLM）架构在内部表征中无法忠实编码空间关系，即使这些模型在组合性基准测试中得分高于随机水平；关系信息在谓词 token 处可识别，但在句子聚合为全局表征（EOS token 或均值池化）时丢失。

事件概述或研究问题

论文研究 VLM 的内部表征是否忠实编码图像推理所需的结构化关系。作者指出，尽管 VLM 越来越多地用于分析和推理图像，但其内部表征能否忠实编码这类推理所需的结构化关系仍不明确。为回答这一问题，作者提出 EICS 指标与 CASP-VL 基准，并在多种 VLM 架构上进行测试。

方法/产品要点

• EICS（Evaluation-Invariant Concept Stability，评估不变概念稳定性）：一种度量指标，用于测试表征在受控的“单概念干预”（one-concept interventions）下是否一致地编码概念。
• CASP-VL（Causally controlled Spatial Perturbations for Vision-Language models）：一个基准，包含因果控制的空间扰动，来源于 Visual Genome 场景图（scene graphs）。
• 分析范围：多种 VLM 架构；对比空间关系与词汇信息的表征忠实性；进一步定位关系信息在 token 级与全局表征级的存续情况。

主要结果或产业意义

• 空间关系（spatial relations）的表征忠实性显著低于词汇信息（lexical information），即使同一模型在组合性基准上得分远高于随机水平。
• 关系信息在谓词自身的 token 处可被识别，但当句子被聚合为全局表征时——无论通过 EOS token 还是均值池化——该信息丢失。
• 这揭示了一种基于输出的评估无法看到的系统性失败：VLM 在其下游使用的表征中，没有保留其自身输入中存在的关系信息。

为什么重要

• 该发现挑战了“模型输出表现好就说明内部表征可靠”的假设，指出输出层评估可能掩盖表征层面的信息丢失。
• 对依赖 VLM 进行空间推理、具身推理或多模态下游任务的应用而言，这一失败可能意味着模型看似理解空间关系，实则在下游使用的全局表征中已丢失这些关系。
• 与既有卡片中关于模型“内部状态与外部表态不一致”的脉络（如多智能体潜在目标涌现、VLA 忠实性、Bielik 激活分散性）相呼应：本条卡片补充的证据是，VLM 在空间关系这一具体维度上存在系统性的表征忠实性缺口，且该缺口在 token 级尚可识别、在全局聚合时消失。

局限与不确定性

• 论文的具体作者机构、实验规模（模型数量、具体架构名称）、EICS 与 CASP-VL 的实现细节、定量数值（如忠实性下降幅度）在给定材料中未完整列出，待核实。
• CASP-VL 基于 Visual Genome 场景图，其覆盖的空间关系类型与迁移到其他数据集的泛化性待核实。
• EICS 作为新指标的稳健性、与其他表征忠实性度量的一致性待核实。
• 论文发表于 arXiv，同行评审状态待核实。

可用于图书/PPT/简报的角度

• “输出正确 ≠ 内部忠实”：可用于说明评估多模态模型时不能只看基准分数。
• “聚合即丢失”：全局表征（EOS/均值池化）可能抹平 token 级可识别的关系信息，适合用于讲解表征瓶颈。
• 空间推理的隐性失败：适合用于具身 AI、机器人视觉语言导航等对空间关系敏感的应用风险提示。
• 与“模型不知道自己不知道什么”的脉络串联：模型既不主动识别自身表征缺口，输出评估也难以暴露该缺口。

原始材料

• Title: When VLMs Destroy What They Know: Spatial Representations Fall Below Lexical Priors
• Authors: Shubh Garg, Chen Shani
• arXiv ID: 2610.13910v1
• Published: 2026-10-09T17:50:03Z
• Primary category: cs.CL
• Abstract URL: https://arxiv.org/abs/2610.13910v1
• PDF URL: https://arxiv.org/pdf/2610.13910v1

Keywords: Vision-Language Models; spatial representations; lexical priors; EICS; CASP-VL; representation faithfulness; compositional benchmarks