知识卡片：相同的模拟，不同的证据——检索式工具输出如何导致 LLM 智能体准确率损失

一句话结论

当 LLM 智能体通过“按需检索”而非“上下文内联”读取长工具输出时，部分模型会出现准确率下降；原因未必是没算对，而是答题所依据的证据发生了替换（evidence substitution）。

研究问题

LLM 智能体即使计算出了正确答案，仍可能给出错误选项。该研究关注：智能体框架将超长工具输出移出上下文窗口、存为文件供按需检索时，准确率损失具体发生在哪里。

方法/产品要点

• 使用真实科学工具 PHREEQC（USGS 广泛使用的地球化学模拟器），其报告可达 846.8k 字符，且具有确定性，每个打印值均可追溯。
• 智能体回答 158 道经执行验证的多选题。
• 对比两种读取方式：报告在上下文内联，vs. 通过分节索引检索。
• 复跑全部 11,007 条已记录的模拟器调用，以区分“计算失败”与“证据使用失败”。
• 测试模型包括 GPT-5.1、GPT-5.2、GPT-5.4、Claude Opus 4.6、Claude Sonnet 4.6。

主要结果/产业意义

• 检索式读取导致 GPT-5.1 和 GPT-5.2 分别损失 11.3 和 7.9 个准确率点；Claude Opus 4.6 与 Claude Sonnet 4.6 未检测到明显损失。
• 复跑显示两个 GPT 模型计算出关键值的频率与之前大致相当；变化在于它们答题所依据的证据。
• 检索条件下，模型常跳过报告，改用自身更高精度的输出文件作答，并因舍入错误落到相邻选项——作者称之为“证据替换”（evidence substitution）。
• 固定模拟结果不变时，检索仍使 GPT-5.2 损失 9.4 点。
• 对 GPT-5.4，更频繁的正确模拟掩盖了约 10 点的证据使用损失，净变化与零无异。
• 明确指定权威输出可使三个 GPT 模型相对普通检索提升 6.3–7.9 点；对 GPT-5.1 和 GPT-5.2，内联可容纳的输出同样有效，而仅要求“正确舍入”无效。
• 作者主张：评估智能体框架的上下文管理策略，应看准确率损失发生在哪里，而非只看最终准确率。

为什么重要

• 揭示了一类易被最终准确率掩盖的失败模式：计算正确但证据用错。
• 对智能体框架设计（上下文管理、工具输出呈现方式）给出可操作的改进方向：命名权威输出、内联可容纳输出。
• 与“工具使用失败诊断”类工作形成互补：本工作聚焦证据使用而非调用本身。

局限与不确定性

• 结论基于单一科学工具 PHREEQC 与 158 道多选题，向其他工具与任务的泛化性待核实。
• Claude 模型未显示可检测损失的原因未在摘要中说明，待核实。
• GPT-5.4 净变化与零无异的具体统计口径待核实。

可用于图书/PPT/简报的角度

• “算对了却答错了”：智能体证据链断点示意图。
• 上下文管理策略的评估应从“最终分数”转向“损失定位”。
• 证据替换（evidence substitution）作为新失败模式案例。
• 权威输出命名与内联策略的对比实验表。

原始材料

• 标题：Same Simulation, Different Evidence: Where Retrieved Tool Output Costs LLM Agents Accuracy
• 作者：Ke Zhang, Sahchit Chundur, Jerry Peprah Owusu, Mohammad Javad Abdolhosseini Qomi, Maziar Raissi
• arXiv ID：2610.26836v1（cs.AI）
• 发布：2026-10-19
• 摘要页：https://arxiv.org/abs/2610.26836v1
• PDF：https://arxiv.org/pdf/2610.26836v1
• 关键词：LLM agents; tool output retrieval; evidence substitution; context management; PHREEQC