知识卡片：神经语言模型中语法性的线性表示

一句话结论：该研究通过质量均值探测（mass-mean probing）发现，多种预训练神经语言模型的内部句子表示中存在一个与语法性（grammaticality）线性相关的维度，能够系统区分语法正确与错误的句子，且这种表示部分独立于词汇频率、合理性等混杂因素，并在多种语法现象和跨语言中表现出一定泛化能力。

事件概述或研究问题：神经语言模型是否具备基于语法性区分字符串的能力，在计算语言学文献中仍有争议。此前证据主要依赖概率比较（模型是否给语法正确句子分配更高概率），但概率比较被认为混淆了语法性与似然性——模型分配的概率受词汇频率、合理性、世界知识等多种句子属性影响。本研究超越概率评价，直接探究语法性是否编码在模型的内部表示中。

方法/产品要点：

• 采用质量均值探测（mass-mean probing）方法，在多种预训练神经语言模型的句子表示空间中，测试语法正确与语法错误的句子是否在某一表征维度上系统分离。
• 进一步检查这些表示多大程度上独立于与语法性相关的句子属性（如词汇频率、合理性、世界知识）。
• 评估表示在不同语法现象和不同语言上的泛化能力。

主要结果或产业意义：

• 结果提供证据表明，语法性被稳健地编码在多种预训练NLMs的句子表示中，在语法性维度上呈现出清晰的表示分离，且无法完全由其他句子层面的因素解释。
• 这种编码能泛化到广泛的语法现象，并在一定程度上跨语言泛化，说明语法性构成了当代神经语言模型中的一个连贯的表示维度。
• 为关于语言模型句法知识本质的争论提供了新证据，并提供了一种不依赖字符串概率的评估语法能力的补充框架。

为什么重要：此前评估模型语法知识主要依赖概率比较，但该指标受多重因素干扰，无法直接证明模型是否具有语法表征。本研究转向内部表示空间，证明了语法性作为独立表征维度存在，可能改变未来语言模型能力评估的方法论，并为可解释性研究提供新方向。

局限与不确定性：

• 跨语言泛化仅为“一定程度上”，具体在不同语言上的表现差异待核实。
• 探测结果可能依赖于所使用的探测数据集和具体语法现象的选择。
• 论文未明确说明所有测试的模型是否都表现出同等程度的线性分离。
• 研究发现的表示分离是否与模型实际生成行为（如概率分配）完全一致，待进一步验证。
• 因果关系（表示分离是否直接导致语法判断能力）尚未确立。

可用于图书/PPT/简报的角度：

• 在介绍大语言模型是否“理解语法”时，可引用本研究作为“内部表示中存在语法性维度”的实证，区别于传统的概率评价方法。
• 用于说明可解释性领域的线性探测方法如何应用于语言学问题。
• 可作为“模型是否只是统计学习者”辩论中的最新论据。

原始材料
英文标题：Linear representations of grammaticality in neural language models
英文关键词：grammaticality; neural language models; linear representations; probing; syntactic knowledge
原始来源：arXiv:2607.15175v1, https://arxiv.org/abs/2607.15175v1