知识卡片：漏洞定位基准：衡量仓库尺度下的代理式安全分析

一句话结论

论文提出 VLoc Bench，把“漏洞定位”作为独立的仓库级能力来评估；在统一代理接口下，最强系统仅达到 0.229 File F1，且 38.4% 的任务没有任何被评模型能正确定位，同时定位能力更强也不代表修复后能可靠地不误报。

事件概述或研究问题

• 语言模型代理越来越多地操作完整软件仓库，但网络安全评估主要衡量代理能否检测、复现或修复漏洞，而不是能否定位相关代码。
• 论文研究的问题是：给定一个弱点类别（CWE）和一个不熟悉的仓库，代理能否识别与该弱点相关的实现文件。
• 任务分为两类快照：
  • 漏洞快照：代理只获得 CWE 描述和只读终端访问，必须返回受影响文件。
  • 已修补快照：代理必须判断记录中的漏洞已不再存在。
• 论文评估了 27 个语言模型和 4 个静态分析工具，均在共同代理接口下进行。

方法/产品要点

• 提出 Vulnerability Localization Benchmark（VLoc Bench）。
• 基准包含：
  • 500 个真实世界漏洞；
  • 来自 290 个仓库；
  • 横跨六个包生态；
  • 覆盖 147 个 CWE 类别。
• 每个任务配对修复前与修复后两个仓库快照。
• 漏洞快照任务：输入 CWE 描述与只读终端访问，输出受影响文件。
• 已修补快照任务：判断记录漏洞是否已经不存在。
• 统一代理接口下对比 27 个语言模型和 4 个静态分析工具。
• 具体模型名单、静态分析工具名称、六个包生态名称、数据构建与标注流程、提示词与评分实现细节：待核实。

主要结果或产业意义

• 仓库尺度漏洞定位仍然困难：最强系统仅取得 0.229 File F1。
• 38.4% 的任务没有任何被评估模型给出正确本地化结果。
• 更强的定位表现并不意味着修复后行为可靠：能够有效识别漏洞文件的系统，在已修补仓库上仍可能报告无支持的位置。
• 产业意义在于：安全代理不仅要会“找漏洞”，还要在修复后知道“不应再报告”；基准为评估搜索能力与克制误报能力提供了共同设置。
• 该结果是否可直接外推到生产安全工具、企业代码审计流程或采购验收指标：待核实。

为什么重要

• 论文主张将“漏洞定位”确立为一种独立的、仓库尺度的能力，而不是把它混同于检测、复现或修复。
• 它同时考察两件事：
  • 代理如何在完整仓库中搜索脆弱代码；
  • 代理何时应避免报告已不存在的漏洞。
• 与既有脉络的关系：已有卡片如 MM-IssueLoc 关注多模态仓库级问题定位；本条不是重复同一事实，而是把定位任务转向安全漏洞/CWE 场景，并加入修复后快照上的“不应再报告”判定。增量在于同时测量定位能力与修复后的误报抑制。
• 对安全代理、代码审计、漏洞管理和 AI 安全工具评估而言，这意味着需要增加“定位质量”和“修复后可靠性”两类指标。

局限与不确定性

• 本卡片仅基于 arXiv 摘要与元数据，未阅读全文或 PDF；以下细节待核实：
  • 数据构建、漏洞选择、快照生成与 CWE 映射方法；
  • File F1 的具体计算方式；
  • 27 个语言模型和 4 个静态分析工具的完整名单；
  • 代理接口、提示词、工具调用权限与只读终端配置；
  • 统计显著性、重复实验与方差；
  • 基准、代码与数据是否公开及许可条款；
  • 是否存在数据泄漏、同仓库多漏洞干扰或跨文件依赖偏差。
• “38.4% 任务无任何被评模型正确定位”的具体分母、任务聚合方式和置信区间：待核实。
• “更强定位不意味着修复后可靠”是论文发现，但其机制与因果关系：待核实。
• 结果只代表论文设定，不能直接推广到所有安全代理或生产环境。
• arXiv 版本为 v1，后续可能更新或修订。

可用于图书/PPT/简报的角度

• 安全代理评估应从“能否发现漏洞”扩展到“能否定位漏洞”和“修复后能否不误报”。
• 仓库级漏洞定位的难点：跨生态、跨 CWE、跨文件，且修复前后语义不同。
• 基准设计思路：用修复前/修复后快照成对任务，分别测试定位与不存在判定。
• 指标叙事：0.229 File F1 与 38.4% 无解任务比例，可作为“仓库尺度安全分析仍很难”的证据。
• 产业应用场景：代码审计辅助、漏洞管理、AI 安全工具验收、人机协作复核。
• 研究议程：从 detect/reproduce/repair 转向 localization 作为基础能力，并研究代理何时应拒绝报告。
• 风险提示：高定位分数不等于高可靠性，修复后误报可能成为落地障碍。

原始材料

• 英文标题：Vulnerability Localization Benchmark: Measuring Agentic Security Analysis at Repository Scale
• arXiv ID：2609.15939v1
• 作者：Aman Priyanshu, Supriti Vijay, Kimia Majd, Xuhong He, Fraser Burch, Takahiro Matsumoto, Jianliang He, Baturay Saglam, Arthur Goldblatt, Zhuoran Yang, Amin Karbasi
• 发布/更新：2026-09-14T17:44:51Z
• 主分类：cs.CR；分类：cs.CR, cs.AI
• 摘要 URL：https://arxiv.org/abs/2609.15939v1
• PDF URL：https://arxiv.org/pdf/2609.15939v1
• 英文关键词（据标题与摘要提炼）：Vulnerability Localization; VLoc Bench; Agentic Security Analysis; Repository Scale; CWE; File F1