知识卡片：Latent Compaction with Test-Time Training

一句话结论

Latent Compaction 通过在测试时训练（Test-Time Training）为每份文档学习一个紧凑的 KV 缓存，在冻结模型权重的前提下，于 RULER 上实现 32$\times$ 压缩下 96.7% 的准确率，远超 KVZip+ 的 40.0%。

事件概述或研究问题

长上下文会放大 key–value (KV) 缓存，导致生成阶段的显存占用与注意力计算成本上升。压缩这些缓存的关键难点在于：必须为“未见过的下游问题”保留足够信息。论文提出 Latent Compaction，将 KV 缓存本身视为一个可训练的神经网络，通过测试时训练学习文档专属的紧凑缓存，从而在激进压缩下维持检索准确率。

方法/产品要点

• 初始化策略：缓存条目由三部分信息初始化——重建重要性（reconstruction importance）、教师注意力（teacher attention）和键空间多样性（key-space diversity）。
• 两阶段训练：
  1. 第一阶段拟合完整缓存的注意力输出与 log-normalizers，其中重建选出的条目保持固定；
  2. 第二阶段通过从完整缓存模型进行的端到端蒸馏，联合优化整个缓存。
• 约束条件：模型权重全程保持冻结（frozen）；训练仅使用关于文档的通用提示（generic prompts），不访问下游问题或答案。
• 代码已开源：https://www.github.com/THUNLP/latent-compaction

主要结果或产业意义

• 在 RULER、LongBench 和 Phonebook Lookup 上相较预算匹配的压缩基线取得显著提升。
• RULER 上，32$\times$ 压缩下达到 96.7% 准确率，对比 KVZip+ 的 40.0%。
• 方法可跨模型规模与模型家族迁移，在 Qwen3 与 MiniCPM5 上均观察到检索增益（具体数值待核实）。
• 证明“把 KV 缓存当作神经网络并用测试时训练优化”能在激进压缩下保留检索准确率。

为什么重要

长上下文推理的成本瓶颈主要在 KV 缓存，而现有压缩方案多依赖一次性、无训练的选择或合并策略，在未见问题上容易失效。Latent Compaction 把压缩转化为文档级的测试时优化问题，且不触碰模型权重、不需要下游问答监督，为“按需压缩、按文档适配”的缓存管理提供了新范式。它与既有测试时训练脉络（如 GradCuit、VLM 模态顺序一致性）方向相近，但作用对象从潜在推理状态/VLM 行为扩展到 KV 缓存压缩，属于该脉络在“内存效率”维度上的延伸。

局限与不确定性

• 摘要未给出 LongBench、Phonebook Lookup 上的具体数值，待核实。
• 测试时训练本身带来的额外计算/时间开销未在摘要中量化，待核实。
• 跨模型迁移的具体增益幅度、适用的上下文长度上限，待核实。
• 是否对特定模型架构（如注意力实现方式）有依赖，待核实。

可用于图书/PPT/简报的角度

• “把缓存当模型训练”：KV 缓存压缩从静态启发式走向测试时优化。
• 无下游监督的压缩：仅用文档通用提示即可适配未见问题。
• 32$\times$ 压缩下 96.7% vs 40.0% 的对比，可作为“激进压缩仍可保持检索能力”的直观例证。
• 与测试时训练（TTT）家族方法对照，展示 TTT 在推理效率方向的扩展。

原始材料

• Title: Latent Compaction with Test-Time Training
• arXiv ID: 2610.20582v1
• Authors: Yingfa Chen, Xingyu Shen, Chaojun Xiao, Xu Han
• Published: 2026-10-14T17:57:01Z
• Primary category: cs.CL
• Categories: cs.CL, cs.LG
• Abstract URL: https://arxiv.org/abs/2610.20582v1
• PDF URL: https://arxiv.org/pdf/2610.20582v1
• Code: https://www.github.com/THUNLP/latent-compaction
• Keywords: KV cache compression, test-time training, long context, latent compaction, knowledge distillation