知识卡片：LoopVQ：面向循环 Transformer 的亚 1-bit KV 缓存量化

英文关键词：KV Cache Quantization, Looped Transformers, Vector Quantization, Sub-1-bit Compression, SGLang, Long-Context Inference

一句话结论

LoopVQ 是一种针对循环 Transformer（looped transformers）的 KV 缓存向量量化方法，利用循环轴上 KV 缓存的高度冗余性联合编码多个循环步的通道，在 0.5 bit/元素下即可在通用、长思维链推理和长上下文检索任务上优于面向标准 LLM 的现有 KV 缓存向量量化方法；与 TaSQ 结合时，即使在 0.25 bit/元素下也能保留大部分 BF16 精度，并在 SGLang 实现中显著降低解码延迟与提升服务吞吐（具体实现细节与数据待核实）。

事件概述或研究问题

循环 Transformer 通过多次重复应用同一组层（多个循环步）来提升参数效率，近期循环语言模型在性能上可匹配数倍于自身规模的非循环模型。虽然该架构降低了参数内存，但每个循环步仍需存储各自的 keys 和 values，导致 KV 缓存随循环步数线性增长，成为主要内存瓶颈。LoopVQ 针对这一问题，研究如何在循环轴上压缩 KV 缓存。

方法/产品要点

• 观察一：循环模型的 KV 缓存沿循环轴存在高度冗余。
• 观察二：不同循环步对量化的敏感度差异显著。
• 方法：提出 LoopVQ，一种 KV 缓存向量量化方法，对多个循环步的通道进行联合编码，并微调码本（codebooks）以匹配全精度模型的输出。
• 兼容性：设计上与面向标准 LLM 的现有 KV 缓存向量量化方法正交，可与 TaSQ 结合使用。
• 工程实现：在 SGLang 中实现 LoopVQ（具体实现方式待核实）。

主要结果或产业意义

据摘要材料：

• 在 0.5 bit/元素下，LoopVQ 在通用任务、长思维链推理和长上下文检索任务上优于现有面向标准 LLM 的 KV 缓存向量量化方法（测试模型为 Ouro 与 Huginn，具体基准与数值待核实）。
• 与 TaSQ 结合，在 0.25 bit/元素下仍保留大部分 BF16 精度（具体精度损失数值待核实）。
• 在 SGLang 实现中，32K token 上下文下解码延迟近乎减半；相比 BF16 基线，1.4B 与 2.6B Ouro 模型的峰值服务吞吐分别提升至多 4.3 倍和 6.1 倍（具体测试配置待核实）。

为什么重要

循环 Transformer 以参数效率换取循环步带来的 KV 缓存线性增长，LoopVQ 把压缩维度从“层/令牌”扩展到“循环轴”，为这类新型架构提供了针对性的内存瓶颈解法；其与标准 KV 量化方法正交、可叠加使用的特性，意味着它可能作为现有压缩管线的增量组件，并在真实服务框架（SGLang）中体现出延迟与吞吐收益。

与既有脉络的关系：已有卡片（DepthWeave-KV、FreqDepthKV）聚焦标准 LLM 的跨层 KV 压缩，本条针对的是循环 Transformer 的“循环轴”冗余，属于不同的压缩维度与模型架构，不构成事实重复；若后续材料确认其与跨层方法可组合，则可视为对 KV 压缩卡片脉络的架构扩展。

局限与不确定性

• 未能抓取正文，本卡片仅基于 arXiv 元数据与摘要信息生成。
• 具体基准数据集、评测协议、基线对比数值、码本微调成本、训练开销均待核实。
• 摘要所述“优于现有方法”“保留大部分 BF16 精度”“延迟近乎减半”“吞吐提升 4.3×/6.1×”的具体实验条件与可复现性待核实。
• 与 TaSQ 结合时的完整精度—压缩权衡曲线待核实。
• arXiv 编号 2611.05304 对应的时间信息异常，需核实该预印本的真实发布时间与版本状态。

可用于图书/PPT/简报的角度

• “压缩维度的迁移”：从层间、令牌间压缩扩展到循环轴压缩，说明 KV 缓存压缩正随模型架构演进而细化。
• “架构—系统协同”：循环 Transformer 的参数效率优势如何被 KV 缓存增长抵消，以及量化+服务框架（SGLang）协同后的端到端收益。
• “正交可叠加的压缩组件”：以 LoopVQ 与 TaSQ 组合为例，讨论亚 1-bit 甚至 0.25 bit 区间的可行性边界。
• 案例页：Ouro 与 Huginn 模型上的长上下文检索与长思维链推理场景（数值待核实后补充）。

原始材料

• 标题：LoopVQ: Sub 1-bit KV Cache Quantization for Looped Transformers
• 来源：arXiv
• URL：https://arxiv.org/abs/2611.05304v1
• 摘要要点：循环 Transformer 的 KV 缓存沿循环轴高度冗余、各循环步量化敏感度不同；LoopVQ 联合编码多循环步通道并微调码本；0.5 bit/元素下优于标准 LLM 的 KV 向量量化方法；与 TaSQ 结合在 0.25 bit/元素下保留大部分 BF16 精度；SGLang 实现中 32K 上下文解码延迟近乎减半，峰值吞吐提升至多 4.3×（1.4B）与 6.1×（2.6B）。
• 说明：正文未能抓取，以上均来自元数据与摘要，细节待核实。