知识卡片：ACCT：异构大模型间的非对称上下文迁移

一句话结论

ACCT 提出一种在同一模型家族内、不同规模模型之间迁移 KV 缓存的方法，将源模型的 KV 缓存转换为目标模型可直接消费的稀疏 KV 状态，从而在减少 75% KV 缓存的情况下达到或超过目标模型原有推理表现，并在约 19K 上下文长度下实现相对目标模型上下文预填充 6.5–21.2 倍的加速。

事件概述或研究问题

现实部署中的 LLM 系统正从单模型调用转向异构部署，即针对不同推理请求动态调用不同模型。当同一段上下文在多个模型间复用时，每个新选中的目标模型通常都要重新处理该上下文，造成重复计算开销。ACCT 针对这一问题，聚焦同一模型家族内不同规模模型之间的 KV 缓存迁移，目标是实现上下文计算的跨模型复用，并将上下文计算与下游推理解耦。

方法/产品要点

ACCT 由三个轻量组件构成：

• Cartographer：为目标模型的每一层和每个 KV 头识别与查询相关的上下文 token。
• Allocator：在共享的总 KV 预算约束下，决定目标模型每一层、每个 KV 头保留多少上下文 token。
• Compiler：将选中的源模型 KV 转换为稀疏的目标模型 KV。

经转换后，目标模型可直接使用迁移来的 KV 进行推理，无需重新处理原始上下文。

主要结果或产业意义

• 评测覆盖两类互补设置：五个通用能力基准与六个高度依赖上下文的任务。
• 在 KV 缓存规模缩减 75% 时，ACCT 的表现达到或超过目标模型原有推理性能。
• 在约 19K token 的上下文长度下，ACCT 的 KV 转换相对目标模型的上下文预填充实现 6.5–21.2 倍加速。
• 结果说明在有限 KV 预算下跨模型迁移上下文计算具有可行性。

为什么重要

异构模型部署正在成为实际系统的常态，而上下文重复预填充是其中一项可观的隐性成本。ACCT 的价值在于把“上下文计算”从“下游推理”中拆出来，使一次上下文处理可在同家族不同规模模型间复用。与已有的 KV 缓存压缩工作（如 DepthWeave-KV、FreqDepthKV 聚焦单模型内的层间压缩）相比，本条关注的是跨模型、跨规模的 KV 迁移与预算分配，属于不同的复用维度。

局限与不确定性

• 方法明确限定在同一模型家族内、不同规模模型之间的 KV 迁移，跨家族模型是否适用待核实。
• 摘要未披露具体使用的模型名称、参数量级与硬件环境，待核实。
• 摘要未说明 Cartographer、Allocator、Compiler 各自的开销与端到端总延迟构成，待核实。
• 六个“高度依赖上下文的任务”的具体类型与评测细节待核实。
• 论文标注发布时间为 2026-10-30，作者为 Yuzhe Liu、Haolin Tian、Tonghan Wang，其余作者信息与代码开源情况待核实。

可用于图书/PPT/简报的角度

• 作为“异构 LLM 部署”章节的案例：说明多模型动态调用下的上下文重复计算问题。
• 作为“KV 缓存复用”技术谱系的一环：与单模型内的 KV 压缩方法并列，展示“压缩”与“迁移”两条不同路线。
• 用“预算约束下的跨模型资源分配”讲解 Allocator 的设计思路，适合作为系统设计取舍的示例。
• 引用 75% 压缩比与 6.5–21.2 倍加速两个数字，说明上下文计算解耦的潜在收益。

与既有脉络的关系

已有卡片分别讨论跨任务技能迁移的可靠性，以及单模型内的 KV 缓存压缩（DepthWeave-KV、FreqDepthKV）。本条不重复这些结论，增量在于把复用对象从“任务技能”和“单模型层间 KV”扩展到“同家族不同规模模型之间的 KV 状态”，并引入共享预算下的分配机制。

原始材料

• 英文标题：ACCT: Asymmetric Cross-LLM Context Transfer
• 英文关键词：Cross-LLM Context Transfer, KV Cache Transfer, Sparse KV States, Heterogeneous Deployment, KV Budget Allocation
• arXiv ID：2610.42116v1
• 作者：Yuzhe Liu, Haolin Tian, Tonghan Wang
• 发布时间：2026-10-30T17:50:49Z
• 主分类：cs.AI
• Abstract URL：https://arxiv.org/abs/2610.42116v1
• PDF URL：https://arxiv.org/pdf/2610.42116v1