知识卡片：阶段重放发散跟随KV缓存——固定前缀精度控制与双向缓存移植

一句话结论

在测试的推理阶段边界上，边界K/V缓存是发散轨迹的因果充分载体；BF16下“保留实时缓存”与“一次性预填相同token”会产生行为差异，而FP32下不产生解码分歧。精确token重放可以可重复，但不等于保持实时状态保真度。

事件概述或研究问题

该研究检验一个常用于阶段重放诊断的假设：重建中间token前缀后，用“一次性预填（fresh-prefill）”继续生成，等价于从原本到达该前缀的解码器状态继续生成。作者在一个Qwen2.5衍生系统的完整推理阶段边界上检验了这一假设，并比较了不同KV缓存构造方式与数值精度的影响。

方法/产品要点

• 使用一个匹配的200项实验，比较保留的实时KV缓存与一次性预填相同整数token两种构造方式，并在两侧放置精确副本。
• 在BF16下，精确副本保持精确，但两种构造在166个后缀和20个正确性标签上出现差异；准确率差异仅为1个百分点（配对95% CI [-3.5, +5.5]）。
• 使用固定前缀的2×2设计，令全部200个token状态保持不变，同时交叉“构造方式”与“数值精度”。
• BF16下的分歧可重复出现，而FP32下没有解码分歧（95% Wilson置信区间上限为1.88%）。
• 前瞻桥接（prospective bridge）使逐token增量构建的缓存与保留的实时缓存在12/12行上逐位一致。
• 对全部48层Key/Value缓存进行双向移植：在主要检查点的选定集上24/24的发散续写跟随缓存供体；在后续检查点的结果盲复现中，43/43也跟随缓存供体。

主要结果或产业意义

• 在测试状态下，边界K/V缓存是发散轨迹的因果充分载体，数值精度则调节其行为表达。
• 精确token回放可以保持可重复性，但未必保留实时状态保真度。
• 对KV缓存复用、推理阶段诊断、长推理链调试和数值精度选择有参考意义；但尚未构成直接产品化结论。

为什么重要

该结果把KV缓存从“性能优化/存储机制”延伸到“因果状态载体”：在测试边界上，只要更换48层K/V缓存，发散续写方向就会跟随缓存供体。这对大模型推理的可解释性、可复现性和阶段回放诊断有直接启发。

与既有脉络的关系

已有相关卡片分别涉及ColBERT池化、ICME挑战赛和3D点云投毒，与本条没有直接事实重叠。本条在既有脉络中的增量信息是：KV缓存构造方式和数值精度是token级复现之外需要额外报告的两个变量。

局限与不确定性

• 实验基于单一“Qwen2.5衍生系统”，具体模型名称、规模、任务和数据集细节待核实。
• 200项实验、24/24、43/43等数字来自摘要；样本选择、统计方法和代码实现细节待核实。
• 除BF16与FP32外，其他精度（如FP16、INT8）的表现待核实。
• “因果充分”的结论仅限于测试状态，不能直接泛化为所有推理阶段或所有模型。

可用于图书/PPT/简报的角度

• 标题角度：“同样的token，不同的续写——KV缓存与精度如何改变推理方向。”
• 数据角度：BF16下166个后缀分叉，FP32下0个解码分歧；移植KV缓存后续写跟随供体。
• 寓意角度：大模型复现不仅要看token是否一致，还要看KV缓存状态和数值精度是否一致。

原始材料

• 英文标题：Stage-Replay Divergence Follows the KV Cache: Fixed-Prefix Precision Controls and Bidirectional Cache Transplantation
• 英文关键词（根据标题/摘要提炼）：Stage-Replay Divergence, KV Cache, Fixed-Prefix Precision, Bidirectional Cache Transplantation, BF16/FP32, Qwen2.5
• arXiv ID：2607.28495v1
• 作者：Alexander Boesgaard Lorup
• 发布/更新时间：2026-07-30T16:41:40Z
• 主要分类：cs.LG；分类：cs.LG, cs.CL
• Track：academic；Topics：foundation-model
• URL：https://arxiv.org/abs/2607.28495v1