知识卡片：KEEP-Bench：评估上下文压缩中的证据保留能力

英文关键词：Context Compression, Faithfulness, Evidence Preservation, Benchmark, Information Bottleneck, Evidence Preservation Return (EPR)

一句话结论

KEEP-Bench 是一个直接诊断上下文压缩“忠实性”的基准（4,102 个用例），发现即使是最强模型在平均仅 3.1K token 的输入上也难以完整保留关键证据（最佳开源 31B 模型仅 66.8%，最佳闭源模型仅 61.6%）。

事件概述或研究问题

上下文压缩能提升长上下文处理效率，但信息瓶颈可能损害压缩结果的忠实性（faithfulness）。现有评估多依赖 QA 指标，而读者即便基于不忠实的压缩也可能答对问题，因此这类指标会低估证据丢失的程度。KEEP-Bench 旨在直接评估压缩是否保留了完成任务所需的证据，而非仅看下游答案是否正确。

方法/产品要点

• 基准设计：包含 4,102 个用例，覆盖三类挑战性设定，要求压缩保留以下证据：支持合理指代消解的线索、显式限定语（explicit qualifiers）、少数派视角（minority perspectives）。
• 评估方式：直接考察证据保留情况，而非仅依赖 QA 正确率。
• 新指标 EPR：Evidence Preservation Return，将证据召回率与推理 FLOPs 关联，用于衡量“单位计算量换来的证据保留”。
• 实验设置：使用定制化提示（tailored prompting），对比开源与闭源模型。

主要结果或产业意义

• 即便上下文窗口超过 100K token、输入平均仅 3.1K token，最佳开源权重模型（31B）只在 66.8% 的用例中保留全部所需证据，最佳闭源模型仅为 61.6%。
• 不同证据结构间性能差异显著，仅基于有限结构得出的结论可能存在偏差。
• EPR 在中等规模（4B–8B）达到峰值，但此时召回率仍然偏低。
• 增加输出预算主要惠及本已较强的模型，并拉大能力差距；更强模型的证据保留能力伴随陡增的计算成本。
• 作者据此呼吁：未来应研究在小计算预算下具备强信息保留能力的压缩器，而非依赖大输出预算或模型 Scaling。

为什么重要

该工作揭示了长上下文效率优化中的“隐性忠实性代价”：QA 指标达标不代表证据被真正保留。它为压缩器评测提供了更直接、可诊断的维度（证据保留 + EPR 计算效率视角），对设计高效且可信的上下文压缩方案具有方法学参考价值。

局限与不确定性

• 基准仅覆盖三类证据结构，其他任务类型（如数值推理、多跳聚合）的覆盖情况待核实。
• 实验中的具体模型清单、提示模板细节与 EPR 计算公式细节需查阅原文核实。
• 结论基于论文报告的平均约 3.1K token 输入，更长输入下的表现待核实。

可用于图书/PPT/简报的角度

• “答对 ≠ 读懂”：用 QA 指标评估压缩忠实性为何会系统性高估效果。
• 信息瓶颈的代价：压缩效率与证据保留之间的权衡曲线。
• EPR 视角：为什么中等规模模型“性价比”最高但召回仍不足。
• 能力差距放大效应：输出预算与模型 Scaling 并非普惠式改进。

原始材料

• 标题：KEEP-Bench: Evaluating Evidence Preservation in Context Compression
• arXiv ID：2610.26827v1
• 作者：Ziqing Man, Di Wu, Jia-Chen Gu, Junyi Zhang, Kai-Wei Chang, Nanyun Peng
• 发布：2026-10-19
• 主分类：cs.CL
• Abstract URL：https://arxiv.org/abs/2610.26827v1
• PDF URL：https://arxiv.org/pdf/2610.26827v1