知识卡片：LLM缓存该用哪种逐出策略？跨工作负载、容量与编码器的系统研究

一句话结论

在论文评估的18个设置中，LFU是最强的简单默认逐出策略；没有任何策略能比LFU提高超过0.041个百分点，但逐出策略并非无关紧要，FIFO和单遍流式SISO在紧容量下最多落后LFU 8.67和8.55个百分点。更大的隐患是，在MiniLM的中位最近邻阈值下，多数看似命中的语义缓存结果并不能替代答案。

事件概述或研究问题

语义缓存会在新查询嵌入接近某个已缓存查询时复用LLM响应。然而，已有逐出策略很少在同一个实验协议下进行比较。本文使用CLEVER（具体含义待核实）作为评估框架/协议，在三个有序去重查询语料库、三种缓存容量和两种编码器下，系统比较了FIFO、LRU、LFU、ARC、GDSF、单遍流式SISO和语义冗余策略。

方法/产品要点

实验设计：3个有序去重查询语料库 × 3种缓存容量 × 2种编码器 = 18个设置。
评估策略：FIFO、LRU、LFU、ARC、GDSF、单遍流式SISO、语义冗余策略。
缓存操作机制：精确查找（exact lookup）和未命中时插入（insert-on-miss）。
答案有效性审计：从LMSYS和QQP中抽样命中，使用MiniLM的中位最近邻阈值判断这些命中是否“答案可替换”（answer-substitutable）。
交叉编码器研究：用于检验相似度阈值能否在不同嵌入模型间迁移。

主要结果或产业意义

性能对比：没有任何评估策略在任一设置中比LFU提高超过0.041个百分点。
逐出策略仍有影响：FIFO和单遍流式SISO在紧容量下分别落后LFU最多8.67和8.55个百分点。
理论解释：条件打包结果（conditional packing result）表明，在精确查找和未命中插入下，新插入条目在命中半径内不可能已有常驻邻居，因此几何感知逐出规则几乎得不到新的冗余信号。
答案有效性：在MiniLM中位最近邻阈值下，抽样的LMSYS和QQP命中中仅2.1–3.9%被判定为答案可替换；原始命中率51–60%经质量调整后降至1.1–2.2%。
跨编码器：交叉编码器研究显示，阈值不能在不同嵌入模型之间迁移。
实用建议：LFU是本文协议下最强的简单默认策略；部署时应先确认答案有效性，再用精确搜索测试亚百分点级别的策略差异。

为什么重要

语义缓存的实际收益不仅取决于命中率，还取决于命中的答案是否真的可复用。本文在统一协议下比较了多种逐出策略，并指出几何感知逐出规则在精确查找+未命中插入的工作方式下难以获得额外冗余信号；而LFU作为简单默认策略表现稳定。更关键的警示是：原始命中率51–60%经质量调整后仅1.1–2.2%，说明仅优化命中率可能高估语义缓存价值；阈值不随编码器迁移也提醒更换嵌入模型后需重新校准。

局限与不确定性

本卡片仅基于arXiv摘要，未获取全文；CLEVER、SISO等缩写的具体含义，以及实验数据集、编码器细节（除MiniLM、LMSYS、QQP外）均待核实。
结论局限于三个有序去重查询语料库、三种缓存容量和两种编码器；其他工作负载、容量和编码器下的表现待核实。
“答案可替换”的判定标准、审计方法以及交叉编码器研究的具体设置未在摘要中详述，待核实。
论文标注日期为2026-08-20，arXiv ID为2608.20280v1；如与实际数据库信息不一致，以arXiv页面为准（待核实）。

可用于图书/PPT/简报的角度

用“原始命中率51–60% → 质量调整后1.1–2.2%”的对比，说明语义缓存评估不能只看命中率。
用“LFU在18个设置中未被任何策略超过0.041个百分点”说明简单策略常常足够，复杂逐出策略的边际收益有限。
用“FIFO和流式SISO在紧容量下落后LFU最多8.67和8.55个百分点”说明替换策略并非无关紧要，容量紧张时影响显著。
用“阈值不能跨编码器迁移”提醒：更换嵌入模型后需要重新校准相似度阈值。

原始材料

英文标题：Which Eviction Policy Should an LLM Cache Use? A Systematic Study Across Workloads, Capacities, and Encoders
英文关键词（据摘要提炼）：LLM cache; semantic cache; eviction policy; LFU; CLEVER
原始来源：arXiv:2608.20280v1 [cs.DB, cs.LG]，2026-08-20
URL：https://arxiv.org/abs/2608.20280v1