研究问题:KV 缓存压缩对高效长上下文推理至关重要。已有驱逐类方法会永久丢弃未选中 token,导致这些 token 对注意力的总贡献被整体移除;合并类替代方法虽保留更多信息,但可能扰动本应保持精确的保留 key/value。 核心观察:缓存驱逐所遗漏的信息,可以形式化为 softmax 注意力分子和分母中的残差统计量。 事件信息:论文《ResKV: Re…
值得关注:已有相关卡片中,DepthWeave-KV 关注跨层低秩基分解,FreqDepthKV 关注频率引导的深度共享;ResKV 的增量在于显式建模“被驱逐 token 的残差统计”,并让残差项与主缓存共同参与 softma…