知识卡片：Bridge Evidence——静态检索效用无法预测多步智能体搜索中的因果效用

一句话结论：在智能体式多步检索中，文档的静态相关性（直接回答问题）与因果效用（驱动后续搜索行为）几乎不相关（Spearman ρ = -0.026），约三分之一的文档属于“桥梁文件”——对静态阅读器无用，但因果上不可或缺。

事件概述/研究问题
传统检索系统基于静态效用训练和评估：将文档和问题交给阅读器模型，看答案是否改善。但这种假设在语言模型作为搜索智能体（连续发出多个查询并在多轮间推理）时失效，因为文档的价值可能在于它允许智能体下一步做什么，而非它本身对当前问题的回答。本文旨在量化这一差距，而非仅口头论证。

方法/产品要点

• 使用 ReAct 风格智能体在 HotpotQA 上进行实验，回放 1000 道开发集问题。
• 对于智能体读取的每个文档，删除该文档并从该点重新运行剩余轨迹。
• 原始运行与反事实运行对比得到 反事实轨迹效用（CTU），由三个 delta 构成：最终答案质量、下一查询检索质量、轮次数量。
• 将 CTU 与 静态 RAG 效用（SRU） 对比，共 23,322 个文档观测，发现两者接近统计独立（Spearman ρ = -0.026）。
• 约三分之一的文档智能体因果上承重，但在静态阅读器看来无用——称为“桥梁文档”。
• 将阅读器轴替换为 BM25 和交叉编码器代理后，桥梁单元占 27.2%（均匀分布轴）。
• 第二个实验确认机制：使用先前工作的 Observable Entity Relevance (OER) 指标，出现在智能体下一查询中的判别性实体，其在相关文档中出现的频率比仅出现在非相关文档中的实体高 4.02 倍（6.1% vs 1.5%，n = 227,139）。桥梁文档通过提供判别性实体重定向搜索来体现其价值。

主要结果或产业意义

• 静态相关性与因果有用性是智能体检索中不同的量，优化前者并不能带来后者。
• 对于多跳 RAG 系统设计，仅依赖静态相关性分数可能遗漏关键证据，需引入因果效用评估。

为什么重要

• 颠覆了传统检索评估中“文档有用=直接回答当前问题”的隐含假设。
• 为智能体检索系统和多步推理 pipeline 提供了新的优化方向：应关注文档对后续搜索行为的驱动作用，而不仅是当前答案的改进。
• 与已有知识卡片“DynaKRAG”（动态选择证据操作）形成互补：DynaKRAG 关注策略学习，本文揭示了静态效用与因果效用之间的根本性脱节，可作为 DynaKRAG 等方法的理论支撑或评估补充。

局限与不确定性

• 实验仅在 HotpotQA 一个数据集上进行，结论的泛化性需在更多领域验证。
• 反事实删除实验的忠实度依赖于 agent 轨迹的确定性；重运行时其他随机因素可能影响结果。
• 桥梁文档的比例（约三分之一）可能在更复杂的 agent 设计或不同任务中变化，待核实。
• 静态效用代理（SRU 与 BM25/交叉编码器）的选取可能影响桥接单元比率，但作者报告了替代代理的稳健性。
• 论文全文未抓取，部分细节（如具体模型、超参数）待核实。

可用于图书/PPT/简报的角度

• “不要只教模型回答问题，还要教它如何利用文档引导下一步搜索”——智能体搜索的新评估维度。
• 作为案例说明“相关性≠有用性”：静态检索指标与动态因果指标几乎无关。
• 桥梁文档的概念可用于 RAG 系统的可解释性：解释为什么一个看似无关的文档被智能体保留。

原始材料
URL: https://arxiv.org/abs/2607.15253v1
英文标题: Bridge Evidence: Static Retrieval Utility Does Not Predict Causal Utility in Multi-Step Agentic Search
英文关键词: foundation-model, agentic search, counterfactual trajectory utility, bridge documents, static retrieval utility
原始来源: arXiv preprint (待确认最终发表状态)