知识卡片：EpiSEM-Bench：缺失证据下 LLM 智能体的安全性与证据恢复评估

一句话结论

EpiSEM-Bench 是一个可执行基准，专门测试“工具返回结果省略了安全相关事实”时，使用工具的 LLM 智能体是否会执行本应被禁止的动作，以及它能否主动找回缺失事实并做出恰当决策。

事件概述或研究问题

使用工具的语言模型智能体依赖环境事实判断某项操作是否被允许。当工具响应遗漏了与安全相关的事实时，即使用户请求本身无害、且返回的每条陈述都为真，智能体仍可能执行被禁止的动作。该论文提出 EpiSEM-Bench，用于评估这种“关键证据缺失”条件下的不安全执行、安全边界与证据恢复能力。

方法/产品要点

• 基准包含 300 组匹配的“不安全/安全”任务对，覆盖六个领域。
• 通过系统性地抑制关键事实，测量关键证据省略下的不安全执行情况，并确定观察到的最小失败基数（包括证据完整时的失败，以及穷尽测试后未观察到失败的案例）。
• 提供一个独立审计工具，测试智能体是否会主动寻找缺失事实，然后在完成允许任务的同时，对禁止性动作保持克制。
• 评估十个模型在省略鲁棒性、证据获取和适当行动上的表现差异。

主要结果或产业意义

• 十个模型在省略鲁棒性、证据获取与适当行动方面存在显著差异。
• 对缺失证据的抵抗（不执行危险动作）不一定转化为有用的恢复能力。
• 提供恢复访问（recovery access）能降低所有十个模型的不安全执行率，但各智能体在是否主动获取缺失事实、并据此在两个世界中都恰当行动上表现不同。

为什么重要

智能体安全评估通常假设工具返回的信息足够支撑判断；EpiSEM-Bench 把“证据缺失”本身作为攻击面，揭示了一类被忽视的风险：请求无害、返回为真，但因关键事实缺席而导致违规执行。同时它区分了“不动作”与“主动恢复证据后正确行动”，提示安全基准不能只看是否拒绝，还要看是否具备可用的证据恢复能力。

局限与不确定性

• 摘要未说明六个领域的具体范围、模型清单及量化指标细节，待核实。
• “最小观察失败基数”的具体定义与统计口径需查阅论文全文，待核实。
• 恢复访问的具体实现方式（如是否允许额外查询工具）待核实。

可用于图书/PPT/简报的角度

• 智能体安全的“沉默证据”风险：当工具不说全，模型是否还敢做。
• 安全评估的两个维度：抵抗缺失证据 vs. 主动恢复证据。
• 可执行基准的设计思路：匹配任务对 + 关键事实抑制 + 独立审计工具。
• 产业启示：工具接口的“信息完整性”应纳入智能体部署的安全假设。

与既有脉络的关系

与“智能家居工具调用中的剪枝退化”相比，本条关注的是工具响应中关键安全事实被省略（而非模型剪枝）导致的执行风险；与“SovereignPA-Bench”相比，本条聚焦缺失证据下的安全边界与证据恢复，而非用户主权与同意约束。

原始材料

• 标题：EpiSEM-Bench: Evaluating Safety and Evidence Recovery in LLM Agents under Missing Evidence
• arXiv ID：2610.31650v1
• 作者：Qijin Zhang, Hanzhen Wang, Yuehan Zhao, Haoyu Dai, Yao Shu, Zhongxiang Dai, Shuang Qiu
• 发布：2026-10-22T17:57:04Z
• 分类：cs.AI, cs.LG
• 摘要链接：https://arxiv.org/abs/2610.31650v1
• PDF：https://arxiv.org/pdf/2610.31650v1