知识卡片：Artificial Analysis 发布 Cyber Index Alliance 与 Cyber Index：面向智能体网络防御的基准

一句话结论

Artificial Analysis 于 2026-09-28 启动 Artificial Analysis Cyber Index Alliance，并发布 Artificial Analysis Cyber Index v1；后者用 CWE-Bench-AA、DeepsecBench-AA、CyberGym-E2E-AA 三项评估，在开源 agent harness Stirrup 上比较模型智能体在企业网络防御任务中发现、复现与修补漏洞的能力，同时把安全原因拒绝单独统计。

事件概述或研究问题

• 软件组织普遍存在漏洞，防御团队需要在攻击者利用前发现并修复。
• AI 网络能力增强后，攻击者可自动化更多工作并扩大规模；安全团队需要有能力且成本有效的工具。
• Artificial Analysis Cyber Index 是面向模型网络安全防御能力的独立指数，衡量模型如何支持并加速内部安全团队的工作。
• 它测试防御循环：在代码库中发现漏洞、复现和验证、打补丁且不破坏既有功能。模型从源代码工作，不要求任何模型构建可用的 exploit。
• 目标是独立、同口径比较哪些模型最适合支持这类工作，以及运行成本。

方法/产品要点

• 联盟与指数同时发布。Launch partners：Collinear AI、IBM、NVIDIA、Vercel。Collinear AI 开发 CWE-bench，贡献为私有 held-out 评估；Vercel 开发 DeepsecBench，贡献为私有 held-out 评估；IBM 和 NVIDIA 提供范围与方法专家输入。联盟联系方式为 cyber@artificialanalysis.ai。
• Artificial Analysis Cyber Index v1 结合三项评估：
  1. CWE-Bench-AA：基于 Collinear AI 的 CWE-bench。每个任务是一次安全审计，agent 收到开源仓库 checkout 和审计并修复问题的指令。任务描述关注区域但不给精确位置。测试集包含 120 个 held-out 任务，私有于 Collinear AI 和 Artificial Analysis，覆盖 OWASP Top 10 (2025) 全部十类，跨 C/C++、Go、Java、JavaScript/TypeScript、Python、Rust。任务同时测试发现弱点和修补且不破坏代码库。pass@1 仅在程序化验证器确认 exploit 不再有效且合法行为仍有效时算解决；无部分分、无 LLM judge；任务私有，沙箱无互联网。
  2. DeepsecBench-AA：基于 Vercel 的 DeepsecBench，隔离发现过程。Agent 被要求审查 scanner-flagged 的开源应用代码文件，并报告每个可确认漏洞；评分对照人类专家验证的 golden set。F2 分数偏向 recall 高于 precision；judge model 判断每个发现是否真实并匹配 golden set；重复发现计为 precision 损失。审查运行三次，头条指标是中位 F2。
  3. CyberGym-E2E-AA：来自 Berkeley RDI（Berkeley Center for Responsible, Decentralized Intelligence）的 CyberGym-E2E。评估发现漏洞、复现漏洞、编写能通过项目既有测试的补丁的端到端过程，聚焦内存安全 bug。每个任务针对广泛使用的 C/C++ 开源项目中的真实内存安全漏洞，例如 FFmpeg 或 CPython。模型需定位 bug、写 proof-of-concept 输入触发崩溃、修补使崩溃不再复现。Artificial Analysis 的实现使用过滤后的 131 个任务，每个项目一个。无发现结束任务得 0，并和失败提交分开记录。摘录中说明：PoC 使未修补构建崩溃、补丁修复该崩溃、修补后项目仍通过功能测试（stage 1 至 3）才算解决；补丁是否也修复 ground-truth 漏洞（stage 4）的记录方式在摘录中截断，待核实。
• 所有三项评估运行在 Stirrup，这是 Artificial Analysis 的开源 agent harness。
• 因 cyber work 具有双用途性质，也追踪模型或提供商以安全理由拒绝任务的情况，并将其与分数分开报告。CyberGym-E2E-AA 的 harness 允许模型在认为无法找到或证明漏洞时，以无发现结束任务。
• 路线图：计划加入 incident response、写新代码而不引入漏洞、以及无源代码访问的目标，如编译软件和 live servers。Exploit realization，即把已发现漏洞变成可用 exploit，不在防御导向指数的范围内。

主要结果或产业意义

• DeepsecBench-AA：最佳模型仅识别 41% 的专家验证问题。模型更常发现从不可信输入到后果有直接路径的缺陷；需要推理事件序列或考虑业务与隐私规则的 bug 很少被发现。当模型报告这类序列事件漏洞时，95% 报告正确；GPT-6 Sol 和 GPT-6 Astra 在约 30% 运行中发现它们，约为次优模型的 2 倍、典型模型的 3 至 4 倍，材料称这可能是一种新兴能力。
• CWE-Bench-AA：失败集中在两类。排除拒绝和超时后，55% 失败尝试修复了主问题但留下相关问题未关，例如第二入口；过度修正约占失败尝试的 24%，在四个最高分模型中约占其失败的 40%，而最低表现者约为 15%，破坏通常是合法功能的边缘情况。模型平均 38% 的回合用于搜索 bug，62% 用于修补和验证。
• CyberGym-E2E-AA 的具体模型分数、排名和 pass@1 数值在提供的摘录中未给出，待核实。
• 产业意义：将网络防御能力、成本每任务、安全拒绝/超时分开呈现，有助于企业在安全工作中做模型选型；联盟、私有 held-out 数据集和专家 golden set 强化了第三方独立评估的定位。

为什么重要

• 攻击者可能用 AI 扩大自动化漏洞利用；防御团队需要能发现和修补漏洞且成本有效的工具。
• 对模型安全工作的选型不能只看通用能力；Cyber Index 提供防御导向、源码可访问条件下的同口径比较。
• 安全拒绝和安全对齐会影响有效可用性；将其与任务失败分开统计，可避免把拒绝误读为能力不足。
• 与既有脉络的关系：Artificial Analysis 此前有 Optima（自定义基准构建）和 Search Index（搜索 API 对智能体的质量/成本/速度基准）；本条把基准化思路扩展到网络安全防御，并采用联盟加三项评估的结构。它与已有 OpenAI Astra 网络安全评估卡片同属 AI 网络安全能力评估主题，但本条材料未说明二者关系；本条增量在于第三方独立 Cyber Index 和联盟治理。

局限与不确定性

• 当前 v1 仅覆盖“可访问源代码”时识别和修复漏洞；尚未覆盖 incident response、写新代码不引入漏洞、无源码目标（编译软件、live servers）等。
• Exploit realization 明确不在范围。
• 任务规模有限：CWE-Bench-AA 为 120 个 held-out 任务，CyberGym-E2E-AA 为 131 个任务；DeepsecBench-AA 的任务数待核实。
• 排行榜具体分数、各模型排名、成本每任务数值、安全拒绝比例在摘录中未完整给出，待核实。
• CyberGym-E2E-AA stage 4（补丁是否修复 ground-truth 漏洞）的计分与记录细节在摘录中截断，待核实。
• DeepsecBench-AA 使用 judge model 与中位 F2；具体 judge 可靠性、重复运行方差待核实。
• 联盟治理、成员加入条件、数据更新频率、是否独立审计等，材料仅提供联系邮箱，细节待核实。

可用于图书/PPT/简报的角度

• 从“模型能不能发现漏洞”转向“发现—复现—修补”防御闭环与成本每任务。
• 安全拒绝应作为单独指标：能力评分之外还有可用性和政策约束。
• 私有 held-out 任务加专家 golden set：网络防御基准如何减少污染和误报淹没。
• 漏洞发现的“长尾”：直接输入到后果的 bug 易发现，事件序列/业务规则类 bug 难发现但一旦报告可靠性高。
• 联盟式基准：企业、工具商、研究机构共同定义企业网络防御评估标准。
• 路线图空白：无源码目标、事件响应、安全编码生成，以及 exploit 能力的防御外溢风险。

原始材料

• 英文标题：Announcing the Artificial Analysis Cyber Index Alliance: toward better benchmarking of agentic cyber defense
• 英文关键词：Artificial Analysis Cyber Index; Cyber Index Alliance; CWE-Bench-AA; DeepsecBench-AA; CyberGym-E2E-AA; Stirrup; agentic cyber defense; vulnerability discovery; vulnerability patching; OWASP Top 10 (2025); CWE-bench; DeepsecBench; CyberGym-E2E; Berkeley RDI
• 原始来源：Artificial Analysis，URL: https://artificialanalysis.ai/articles/artificial-analysis-cyber-index
• 文章发布日期：September 28, 2026
• Track: industry；Topics: benchmark-evaluation
• Manual title: New Announcing the Artificial Analysis Cyber Index Addressing an urgent need to step up cyber defense capability
• Fetched title: Announcing the Artificial Analysis Cyber Index Alliance: toward better benchmarking of agentic cyber defense
• Fetched description: The Artificial Analysis Cyber Index Alliance brings together industry partners to set a new standard for evaluating how AI models perform on enterprise cyber defense tasks. The Alliance launches alongside the Artificial Analysis Cyber Index, which combines three partner-contributed and open benchmarks to evaluate how well agents find and fix vulnerabilities.
• 注：来源材料在 CyberGym-E2E-AA 的 stage 4 描述处截断；相关细节待核实。