知识卡片：弃权与噪声过滤：Softmax Attention 的两个缺失原语

一句话结论

该论文提出，value 路径门控之所以改善语言模型预训练，是因为它为 softmax attention 补上了两个缺失原语：弃权（Abstention）和噪声过滤（Noise Filtering）；在 10M–350M 参数匹配模型中，弃权收益随规模下降，噪声过滤收益随规模上升，二者兼具的模型在每个规模最佳。

事件概述或研究问题

此前有报告称，对 attention 的 value 路径加门控可改善语言模型预训练，但不同研究对其原因解释不一致。本文要检验的问题是：这些门控是否分别提供了 softmax attention 本身缺少的两种能力——允许 head 不输出（弃权），以及抑制残差流中叠加特征带来的干扰（噪声过滤）。

方法/产品要点

• 提出两个原语：
  • Abstention（弃权）：允许一个 attention head 什么都不输出，从而绕过“attention 权重必须和为 1”的约束。
  • Noise Filtering（噪声过滤）：允许 attention head 的 value 路径抑制 residual stream 中 superposed features 的干扰。
• 实现方式：
  • 弃权：在 softmax 中使用可学习的 per-head sink logit。
  • 噪声过滤：对每个 value 加 gate。
• 实验设置：在 10M 到 350M 参数的匹配模型中进行比较；匹配的具体维度待核实。
• 验证方式：向 head 读取的 values 注入受控干扰，以检查 gate 是否移除此类干扰。
• 工程兼容性：同时提供两个原语只增加可忽略参数，并保持与 key-value cache 兼容；具体实现和“可忽略”的数值待核实。

主要结果或产业意义

1. 收益随规模变化：以相对匹配 baseline 的验证损失下降衡量，弃权收益随模型增大而下降，噪声过滤收益随模型增大而上升。10M 时门控收益几乎全部来自弃权；350M 时大部分来自噪声过滤。
2. 组合最佳：在每个规模上，同时内置弃权和噪声过滤的模型都是最佳模型。
3. 干扰实验支持机制：注入受控干扰后，gate 能移除此类干扰；同时，研究的两种 gate 形式各自都有特征性盲点。
4. 产业意义：若结论成立，attention 设计不应只笼统说“加门控”，而应区分“是否允许 head 弃权”和“是否允许 value 路径过滤残差流干扰”。小模型与大模型的收益来源不同，组合两个原语可能更稳。

为什么重要

该研究试图调和“value 路径门控为何有效”的分歧，把单一经验现象拆成两个可检验原语。这有助于解释缩放过程中不同机制的重要性变化，也为 attention 架构修改提供更明确的检查清单：不仅要看是否加了 gate，还要看 gate 提供了弃权还是噪声过滤。工程上，低参数开销和 KV cache 兼容性使其具备落地讨论价值，但仍需完整论文与复现验证。

与既有脉络的关系

与已有卡片《不是 RoPE 创造汇点——注意力自集中与值非混合的作用》处于相近的注意力机制解释脉络：二者都涉及 attention sink 与 value pathway。本条的增量信息是：它不讨论 RoPE 归因，而是把“softmax 权重和为 1”相关约束与 value 路径门控明确拆成弃权和噪声过滤两个可训练原语，并给出 10M–350M 的规模趋势。两者是否指向同一底层机制，待核实。

局限与不确定性

• 当前可见材料仅为 arXiv 标题、摘要和元数据；完整论文、实验配置、数据集、训练预算、评估基准、统计显著性和复现细节待核实。
• “matched models”具体匹配了什么待核实。
• 两种 gate 形式的具体结构及其“特征性盲点”是什么，待核实。
• 参数增加“可忽略”的具体数值、KV cache 兼容性的实现方式待核实。
• 结论覆盖范围限于 10M–350M 参数的语言模型预训练实验；更大规模、其他模态或任务是否成立待核实。
• 该条目为 v1 预印本，同行评审状态待核实。

可用于图书/PPT/简报的角度

• 把“门控为什么有效”拆成两个问题：它让 head 学会不说，还是让 value 学会过滤？
• 用规模趋势讲：小模型主要受益于弃权，大模型主要受益于噪声过滤。
• 设计 attention 变体时的检查清单：是否允许 head 输出空？是否允许 value 路径抑制残差流叠加干扰？
• 与 attention sink 叙事连接：softmax 权重必须归一化带来的限制，如何通过 sink logit 放松。
• 工程落地角度：低参数开销、KV cache 兼容，是否值得纳入现有架构。
• 风险角度：每种门控形式都有盲点，组合使用或针对性设计可能更重要。

原始材料

• English title: Abstention and Noise Filtering: Two Missing Primitives of Softmax Attention
• English keywords: Abstention, Noise Filtering, Softmax Attention, Attention Head, Value Pathway, Gating, Residual Stream, Language Model Pretraining, Key-Value Cache
• Authors: Richard Zhe Wang
• Published / Updated: 2026-09-18T17:03:58Z
• arXiv ID: 2609.22005v1
• Primary category: cs.LG
• Categories: cs.LG, cs.CL
• Abstract URL: https://arxiv.org/abs/2609.22005v1
• PDF URL: https://arxiv.org/pdf/2609.22005v1