知识卡片：DepthWeave-KV：面向长上下文KV缓存压缩的令牌自适应跨层残差分解

一句话结论

DepthWeave-KV通过跨层低秩基分解与令牌条件深度路由器，在64K上下文长度下实现8.3倍KV缓存压缩，同时保持接近全缓存的任务质量，吞吐率达72.8 tokens/s。

事件概述或研究问题

长上下文语言模型推理时，存储键值（KV）缓存所需的内存带宽和容量已成为瓶颈。现有压缩方法通常在各层或各令牌上使用统一的压缩预算，当词汇线索和语义状态需要不同保留度时，检索性能会下降。DepthWeave-KV旨在解决这一均匀压缩导致的关键信息丢失问题。

方法/产品要点

• 跨层残差分解：将相邻Transformer层的键、值状态分解为共享的低秩通道基，同时为注意力行为敏感的令牌保留轻量级的令牌特定残差。
• 令牌条件深度路由器：为承载指令和检索关键性的令牌分配更高的重建秩（rank）。
• 免校准在线误差追踪：利用注意力输出探针在生成过程中在线追踪误差，动态调整压缩策略，无需重新训练基座模型。
• 融合CUDA实现：联合执行基查找、残差反量化与注意力投影，减少解码时的内存流量。

主要结果或产业意义

• 在LongBench、Needle-in-a-Haystack、L-Eval以及长文问答和摘要基准测试中，DepthWeave-KV达到接近全缓存的任务质量，且在平均得分和检索准确率上优于先前的压缩缓存方法。
• 实现了8.3倍KV内存缩减，并在64K上下文下达到72.8 tokens/s的生成速度。
• 将显著降低长上下文部署的显存需求，推动大模型在长文档分析、多轮对话等场景的实际应用。

为什么重要

该方法统一解决了两个关键矛盾：①不同令牌对压缩精度的需求差异（如指令词、检索关键词需高保真）；②不同层之间KV表示的冗余性。通过免校准的在线适应机制，无需微调即可直接用于现有模型，实用性强。

局限与不确定性

• 论文未公开在更大规模（如128K、1M）上下文上的表现，仅报告了64K结果，扩展性尚待验证。
• 对跨层分解引入的额外计算开销（尤其是路由器与在线误差追踪）的实际训练/推理效率分析未详细给出。
• 作者列表及机构信息：待核实（arXiv预印本可能为匿名投稿或真实作者，需后续确认）。

可用于图书/PPT/简报的角度

• 技术趋势：作为“KV缓存压缩”方向的最新代表，可与KV Cache Quantization、SnapKV等对比，突出“令牌自适应”的核心创新。
• 产业价值：展示显存压缩对边缘端或云端成本降低的量化收益（8.3倍、72.8 tok/s），适合在AI基础设施报告中引用。
• 方法亮点：用“跨层残差分解+在线误差追踪”的类比解释——如同将多个楼层（层）的公共管道（低秩基）与每个房间（令牌）的独特调整（残差）结合。

原始材料

• 标题：DepthWeave-KV: Token-Adaptive Cross-Layer Residual Factorization for Long-Context KV Cache Compression
• 英文关键词：key-value cache compression, token-adaptive, cross-layer residual factorization, long-context, foundation model
• 原始来源：arXiv预印本，ID: 2607.06523v1，URL: https://arxiv.org/abs/2607.06523v1