知识卡片：线性化Transformer的关键：分析驱动的线性化方法

一句话结论：通过分析softmax中关键依赖的秩1正交投影，发现delta式状态更新优于纯门控累积，并引入结构干预（sink tokens、短卷积、固定预算缓存路由），可在冻结主干的情况下将因果自注意力线性化，在LLaMA和Qwen高达32B参数上超越此前事后线性化基线，且长上下文检索性能匹敌复杂自适应缓存框架。

事件概述/研究问题：因果自注意力的二次复杂度严重限制了长上下文Transformer推理。尽管存在多种事后线性化流程，但很难判断哪些组件能保留模型质量。本工作严格冻结主干，隔离状态更新设计的影响。

方法/产品要点：

• 证明softmax依赖于与键（key）相关的秩1正交投影
• 阐明了为什么delta式网络（delta-style networks）优于纯门控累积（purely gated accumulation）
• 识别出近似误差的一个潜在来源
• 引入结构干预：sink tokens、短卷积（short convolutions）、固定预算缓存路由（fixed-budget cache routing），以缩小剩余差距

主要结果或产业意义：

• 将该线性化方法扩展到LLaMA和Qwen系列模型，参数规模最高达32B
• 在MMLU基准上优于此前的事后线性化基线
• 长上下文检索能力与复杂的自适应缓存框架（adaptive-caching frameworks）持平

为什么重要：为Transformer线性化提供了分析驱动的理解，揭示了状态更新设计的核心机制，使得在不重新训练的情况下，对已有大模型进行可扩展的线性化推理成为可能，有助于降低长上下文场景的计算开销。

局限与不确定性：

• 论文中未提供具体的MMLU分数或检索精度数值，待核实
• 是否适用于其他架构（如不同激活函数、位置编码）待核实
• 结构干预（如sink tokens的数量、短卷积长度）可能需要针对不同模型进行调优，通用性待进一步验证

可用于图书/PPT/简报的角度：

• 案例：大模型长上下文推理的效率优化方案
• 原理：对比delta式状态更新与门控累积的数学差异
• 技巧：sink tokens、短卷积、缓存路由在注意力线性化中的具体作用
• 趋势：从二次复杂度到线性复杂度的方法演进

原始材料：

• 论文标题：The Key to Going Linear: Analysis-Driven Transformer Linearization
• arXiv ID：2607.07706v1
• URL：https://arxiv.org/abs/2607.07706v1
• 英文关键词：transformer linearization, causal self-attention, state update, delta-style networks, sink tokens, short convolutions, fixed-budget cache routing, LLaMA, Qwen, MMLU