知识卡片：LeapQuant：高效线性注意力与精准循环状态量化

一句话结论

LeapQuant 是一种免训练方法，把混合线性注意力模型的循环状态量化到 8-bit，并通过分窗量化、补偿 token 与残差平滑，在 Qwen、Kimi、GLM 系列上取得与 FP32 基线相当的精度，同时报告 kernel 级 2.05–3.70×、端到端 1.47× 的平均加速。

事件概述或研究问题

近期 LLM 采用混合设计，用线性注意力替代标准注意力，例如 Gated DeltaNet (GDN) 和 Kimi Delta Attention (KDA)。这些设计把上下文压缩到固定大小的循环状态，显著降低长上下文处理成本，但反复读取和更新该状态仍是主要推理瓶颈。量化是降低该成本的直接思路，却可能因舍入误差累积以及状态中的离群行/列而显著损害模型质量。LeapQuant 要解决的问题是：如何在不训练的情况下，对循环状态做 8-bit 量化并保持接近无损的性能。

方法/产品要点

• 免训练：LeapQuant 不要求额外训练，目标是在推理阶段实现 8-bit 循环状态量化下的近无损性能。
• 分窗量化（per-window quantization）：跨过一个 token 窗口，只在窗口末端对状态量化一次；窗口内输出由固定的低比特状态与高精度缓冲更新共同计算，以缓解误差累积。
• 补偿 token（Compensator Tokens）：保留状态中最大的离群值为少量高精度 token，并让它们与真实 token 共享更新路径，以降低每次量化引入的误差。
• 残差平滑：在量化前对剩余残差做平滑，进一步降低量化误差。
• 更细的超参数与实现选择，如窗口长度、补偿 token 数量、平滑方法，在材料中未展开，待核实。

主要结果或产业意义

• 在 Qwen、Kimi、GLM 模型家族上进行综合实验。
• LeapQuant 显著降低推理时的内存与计算成本。
• 精度与 FP32 基线相当。
• 平均加速：kernel 级 2.05–3.70×；端到端推理 1.47×。
• 测试硬件包括 NVIDIA B200、RTX PRO 6000、RTX 5090 GPU。
• 产业意义：对采用混合线性注意力的长上下文 LLM，状态量化可能成为降低推理成本的可部署优化方向；但其实际集成方式与适用范围仍需正文验证。

为什么重要

• 长上下文 LLM 的瓶颈正在从标准注意力的矩阵计算，部分转向线性注意力循环状态的读写与更新。
• 单纯量化容易因误差累积和状态离群值而掉点；LeapQuant 的组合策略针对这两个失效来源。
• 与既有卡片的关系：已有卡片分别覆盖视频生成中的混合线性注意力、MoE 专家权重量化、Kronecker 因子 Hessian 量化求解器；本条的增量信息是把量化对象明确对准线性注意力的循环状态，并给出在特定 NVIDIA GPU 上的 kernel/端到端加速结果。

局限与不确定性

• 材料只有标题、摘要和元数据，未见正文、实验表格与消融细节；具体基准、数据集、模型规模、序列长度、batch 设置均待核实。
• “近无损”和“与 FP32 基线相当”的具体误差范围、覆盖任务、是否在所有测试模型和硬件上成立，待核实。
• 8-bit 量化的范围是否仅指循环状态，是否同时涉及权重、激活或其他缓存，材料未明确，待核实。
• 结果基于 Qwen、Kimi、GLM 与 B200/RTX PRO 6000/RTX 5090；对其他线性注意力架构、其他 GPU、其他部署场景的泛化性待核实。
• 是否开源、代码与复现细节、许可证待核实。

可用于图书/PPT/简报的角度

• 趋势：混合线性注意力成为长上下文 LLM 的重要架构方向，推理瓶颈随之转移到 recurrent state。
• 技术：量化不止于权重，状态量化是线性注意力推理优化的新对象。
• 方法：分窗量化、补偿 token、残差平滑三者组合，可讲成“如何同时处理误差累积与离群值”。
• 数据：免训练条件下，kernel 2.05–3.70×、端到端 1.47×，以及 B200/RTX PRO 6000/RTX 5090 的硬件对比。
• 图谱：与视频生成线性注意力、MoE 权重量化等卡片并置，展示高效推理优化的不同层次。
• 风险：从摘要到生产部署之间仍需核验精度、泛化与工程复杂度。

原始材料

• 英文标题：LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization
• arXiv ID：2609.38166v1
• 作者：Yi Pan, Haocheng Xi, Kan Zhu, Xingyang Li, Yibo Wu, Mayank Mishra, Hongtao Zhang, William X. Zheng, Baris Kasikci, Song Han, Kurt Keutzer, Rishabh Iyer, Ion Stoica
• 发布时间：2026-09-29T17:59:34Z；更新：2026-09-29T17:59:34Z
• 分类：Primary category: cs.LG；Categories: cs.LG, cs.AI
• 英文关键词：材料未提供独立关键词；可用分类/主题字段为 cs.LG、cs.AI、foundation-model
• Track：academic
• Abstract URL：https://arxiv.org/abs/2609.38166v1
• PDF URL：https://arxiv.org/pdf/2609.38166v1