知识卡片：信任工具：LLM 漏洞审计器对静态分析证据的非对称顺从

一句话结论

在“LLM + 静态分析”的漏洞审计流水线中，模型对静态分析证据并非一视同仁：虚假的“安全保证”（声称缺失的检查存在）会显著拉低真实漏洞检出率，而虚假的“告警”（声称已加的检查缺失）却几乎不损害准确率，且更常被质疑——这种方向性不对称在复现中得到确认。

事件概述或研究问题

• 论文标题：Trusting the Tool: Asymmetric Deference of LLM Vulnerability Auditors to Static-Analysis Evidence
• 作者：ZhiHong Liu, Shuyao Gao；arXiv 2610.32876v1（cs.SE，交叉 cs.CR、cs.LG），2026-10-23。
• 核心问题：当 LLM 把静态分析器的输出当作证据时，它能否区分真证据与假证据？其审视程度是否取决于证据所声称的内容（“安全”还是“不安全”）？
• 研究设计：自建面向 C/C++ 的过程内分析器，产出证明义务（proof obligations）；对 PrimeVul 中的脆弱函数与已修复函数进行审计，设置六种仅“注释”不同的证据条件，其中包括伪造的“安全保证”和伪造的“告警”。

方法/产品要点

• 证据条件操纵：六种条件仅在注释内容上不同，用以隔离模型对证据内容的反应。
• 数据规模：916 对（脆弱/已修复）样本，分属四个不相交集合；来自四家厂商的 11 种模型配置；共 16,572 次审计。
• 训练设置：所有模型均未训练或微调（zero-shot / 提示词设定）。
• 复现设计：内部注册的复现实验，新增 7 个模型。
• 干预实验：将每条声明拆到单独调用中核验，并展示被驳回的声明（预注册检验）。

主要结果或产业意义

• 真证据收益微弱：准确率仅提升约 +0.02。
• 假证据呈非对称影响：相对于描述相同操作的真注释，虚假“安全保证”使真实漏洞检出率最多下降 19 个百分点；虚假“告警”从未显著降低准确率，且被质疑的频率高得多。
• 复现确认：在 7 个新模型上，虚假“安全保证”比虚假“告警”更能把裁决推向其声称的方向（平均不对称 +0.16，95% CI +0.10 至 +0.24）。
• 提示词指令无效：审计提示中的指令无法可靠降低顺从；表现最好的指令未能复现。
• 有效干预：逐条核验声明并展示被驳回声明，在虚假“安全保证”下将准确率提升 12 个百分点（p=0.002），且在真证据下无损失；但第二个模型上增益更小且不显著。
• 产业建议：流水线应先核验工具的保证，再让模型依赖它；研究应以方向感知（direction-aware）的方式测量顺从。

为什么重要

• 揭示了“LLM 消费工具输出”这一常见架构中的隐性风险：模型对“安全”类虚假信息更缺乏抵抗力，可能导致漏报真实漏洞。
• 提示词层面的缓解不可靠，说明需要在流水线结构上（证据核验、声明分离）做工程干预，而非仅靠指令设计。
• 提出“方向感知”的评估视角：仅看平均准确率会掩盖非对称的顺从行为。

局限与不确定性

• 干预增益的稳健性有限：仅在预注册检验中对一个模型显著，第二个模型增益更小且不显著。
• 复现为“内部注册”，外部独立复现情况待核实。
• 数据与场景限定于 C/C++ 过程内分析与 PrimeVul 样本，跨语言、跨分析器泛化性待核实。
• 具体模型清单、六种条件的完整定义、19 个百分点对应的具体配置等细节，摘要未展开，待核实。

可用于图书/PPT/简报的角度

• “工具说的‘安全’最危险”：非对称顺从作为 LLM 与工具链集成中的信任校准问题。
• 提示词工程的天花板：为何结构化的证据核验优于指令约束。
• 评估方法论：从平均准确率转向方向感知的顺从度量。
• 与人类侧迎合研究的呼应：模型对自信但错误的“保证”同样缺乏校准（可与“谁在迎合谁”卡片并置，但注意对象不同：一侧是人类顺从模型，一侧是模型顺从工具）。

与既有脉络的关系

• 与“谁在迎合谁？自信的大语言模型、人类顺从与信任校准的崩塌”构成对照：后者关注人类对 LLM 的顺从，本条关注 LLM 对工具证据的顺从，共同指向“信任校准”主题，但主体与方向不同，属增量补充而非重复。
• 与“注定失败：受召回控制的探针级联”同属 LLM 智能体/流水线的可靠性工程，但后者关注提前终止以节省算力，本条关注证据消费的正确性，问题维度不同。

原始材料

• 标题：Trusting the Tool: Asymmetric Deference of LLM Vulnerability Auditors to Static-Analysis Evidence
• 作者：ZhiHong Liu, Shuyao Gao
• arXiv ID：2610.32876v1（cs.SE, cs.CR, cs.LG），2026-10-23
• Abstract URL：https://arxiv.org/abs/2610.32876v1
• PDF URL：https://arxiv.org/pdf/2610.32876v1