知识卡片：潜在稀疏注意力（LSA）——面向超长上下文的亚二次方注意力

一句话结论

LSA 通过在可学习的潜在空间中对键（keys）进行层次聚类，让查询（queries）只对聚类层级打分而非遍历所有键，从而在 1M token 以上的超长上下文中实现亚二次方的注意力计算，并在 10M token 规模下保持与原有方法相近的准确率、同时大幅加速 prefill 与 decode。

事件概述或研究问题

随着智能体工作流转向长周期任务（如开放式科学研究），模型需要超长上下文窗口。但在超过 1M token 时，全注意力（full attention）代价过高。稀疏注意力是候选方案，由专门的索引器（indexer）选取一部分键参与注意力计算。然而现有索引方法要么在上下文规模上仍是二次方成本，要么在超长上下文尺度下损失准确率。LSA 试图同时解决“效率”与“超长上下文准确率”两个问题。

方法/产品要点

• 核心机制：在可学习的潜在空间中对键进行层次聚类；查询对聚类层级打分，而非对每个键逐一打分，从而降低索引成本。
• 两种变体：
  • Distilled-LSA（D-LSA）：通过蒸馏应用到已预训练模型上。
  • Native-LSA（N-LSA）：仅用下一 token 损失原生训练。
• 加速范围：作者称该方法使长上下文下的 prefill、decode 与训练都更快。

主要结果或产业意义

• D-LSA 在 GLM-5.3-FLASH（QWEN-3.8-27B）上、10M token 规模：单个注意力层相对其原始稀疏注意力加速 prefill 22.7x、decode 4.6x；相对全注意力加速 prefill 72.4x、decode 42.5x，同时在多种任务上保持相近准确率。
• N-LSA：在 128k token 下匹配全注意力准确率，单层训练加速 1.6x。
• 论文结论称 LSA 为模型利用超长上下文提供了实用且高效的注意力方案。

为什么重要

超长上下文是长周期智能体与开放式科研任务的基础设施瓶颈之一。LSA 的价值在于把“索引”本身的成本也压到亚二次方，而不是只在注意力打分阶段做稀疏化；同时给出可蒸馏（D-LSA）与原生训练（N-LSA）两条落地路径，兼顾已有模型改造与从头训练两种产业场景。相较既有长上下文效率工作（如 KV 缓存压缩、线性注意力记忆更新），LSA 聚焦于注意力索引结构的层次化，属于同一“降低超长上下文成本”脉络下的不同技术切面。

局限与不确定性

• 以下信息无法从材料确认，标注为待核实：具体聚类算法与潜在空间维度、索引器训练细节、蒸馏所需数据与算力、10M token 实验的完整任务清单与评测协议、与其它稀疏注意力方法的直接对比数据。
• 材料仅给出单层注意力加速倍数，端到端模型吞吐与延迟收益待核实。
• 准确率表述为“相近/匹配”，具体差距数值待核实。
• 作者列表与所属机构、代码/模型是否开源待核实。

可用于图书/PPT/简报的角度

• 作为“超长上下文效率技术谱系”的一页：全注意力 → 稀疏注意力 → 层次化潜在索引（LSA），说明索引成本本身也需要亚二次方化。
• 用 22.7x/72.4x（prefill）与 4.6x/42.5x（decode）这组对比数字，直观展示“相对稀疏基线”与“相对全注意力”两个参照系的差异。
• 讨论“蒸馏适配已有模型”与“原生训练”两条工程路径的取舍，可作为模型改造决策的案例。
• 与 KV 缓存压缩、线性注意力等路线并列，构成“长上下文成本三角”：注意力计算、KV 存储、索引检索。

原始材料

• 标题：Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention
• 作者：Ales Kubicek, Andrea Caciolai, Liangzu Peng, Sukrit Sumant, Benjamin Hoover, Fraser Greenlee, Ruairidh M. Battleday, Radim Urban, Torsten Hoefler, James C. R. Whittington
• arXiv ID：2610.42147v1（cs.AI），发布/更新：2026-10-30
• Abstract URL: https://arxiv.org/abs/2610.42147v1
• PDF URL: https://arxiv.org/pdf/2610.42147v1
• 关键词：Latent Sparse Attention, LSA, D-LSA, N-LSA, sparse attention, ultra-long context, hierarchical clustering, subquadratic attention