PatchBench 是一个用于更真实评估 AI 智能体漏洞修补能力的基准。它指出传统“仅用 PoC 验证补丁是否抑制崩溃”的评估方法存在严重缺陷:既可能让智能体“背下”历史开发者补丁,也可能让它们只做表面修复;PatchBench 通过漏洞移植和代码突变降低这些风险,并提出更全面的补丁验证方法。
值得关注:该工作揭示了当前自动化漏洞修补评估中的系统性偏差:仅仅“跑通 PoC”并不能证明补丁真正安全且正确。PatchBench 为更可靠的漏洞修复智能体评估提供了新方向,也为后续研究如何避免补丁记忆和表面修复奠定了基准基础。