知识卡片：Artificial Analysis Cyber Index

一句话结论

Artificial Analysis Cyber Index 是一个聚焦网络防御的复合基准，通过三项评估衡量模型在真实软件仓库中“发现漏洞—复现验证—修补且不破坏既有功能”的能力，并对安全拒答单独统计。

事件概述或研究问题

该 Index 面向企业网络防御场景，回答的问题是：AI 模型在防御性安全工作上到底有多强、代价多大、因安全原因拒答的比例如何。Artificial Analysis 称，该 Index 与 Cyber Index Alliance 合作开发，联盟伙伴包括 Collinear AI、IBM、NVIDIA、Vercel，伙伴在设计、实现上提供专家输入，并可能直接贡献数据集与外部研究；有意加入者可联系 cyber@artificialanalysis.ai。相关链接列出了三篇联盟/评估文章：Cyber Index Alliance Launch Article、CWE-Bench-AA、DeepsecBench-AA、CyberGym-E2E-AA，以及各自的原始来源（CWE-bench 来自 Collinear AI，DeepsecBench 来自 Vercel，CyberGym-E2E 来自 Berkeley RDI）。

方法/产品要点

• 三项评估：
  • CWE-Bench-AA，基于 Collinear AI 的 CWE-bench；
  • DeepsecBench-AA，基于 Vercel 的 DeepsecBench；
  • CyberGym-E2E-AA，基于 Berkeley RDI 的 CyberGym-E2E。
• 计算方式：Index 为三项得分的等权平均——CWE-Bench-AA pass@1、DeepsecBench-AA F2（三次运行的中位数）、CyberGym-E2E-AA pass@1；每项先归一到 0–100 再平均。
• 独立性：所有评估由 Artificial Analysis 独立执行，方法学另见其 methodology 页面。
• 覆盖范围：三项评估覆盖防御闭环的全宽度，从扫描代码库弱点、复现崩溃到实现补丁。
• 明确排除：Index 只测防御性工作，模型从源代码出发、像安全工程师审计应用那样工作，不要求任何模型构建可用漏洞利用；漏洞利用实现（exploit realization）不在范围内。
• 与 Intelligence Index 的关系：Cyber Index 为独立指数，不计入 Artificial Analysis Intelligence Index。

主要结果或产业意义

• 页面上列出的领先成绩：Grok 4.7 (Xhigh) 得 56 分，MiMo-V2.6-Pro 得 56 分，GPT-6 Luna (Max) 得 53 分。
• 榜单含 19 of 19 models，并标注存在 Trusted-access model (not publicly available)。
• 除分数外，Index 还提供多维度对比视图：
  • 分数 vs 每任务成本（含 Pareto line 与 “Most attractive quadrant”，越低越好；拒答任务按其他模型的 token 用量估算）；
  • Safety Blocks：模型或其提供商基于安全理由拒绝的任务占比，按三项基准平均，越低越好，拒答任务计 0 分；
  • 每任务输出 token 数（区分 reasoning 与 answer token）；
  • 每任务成本（USD，按 input、cache hit、cache write、reasoning、answer 的 token 定价拆分）；成本与 token 用量视图均注明“拒答任务按其他模型的 token 用量估算”。
• 图表中出现的机构标签包括 Anthropic、OpenAI、SpaceXAI、Xiaomi、Meta、Z AI、Kimi、Google、Alibaba、DeepSeek、Mistral、MiniMax、NVIDIA。具体每家的得分、成本与拒答率数值待核实（材料仅给出排序与图表，未提供逐项数值）。

为什么重要

• 与既有的 Artificial Analysis Cyber Index Alliance 与 Cyber Index v1 卡片相比，本条页面的增量信息是：Index 的具体计算口径（三项等权平均、各自如何取值）、明确的防御定位与 exploit 排除声明、不并入 Intelligence Index 的边界，以及新增的分数/成本/token/安全拒答多视图（含 Pareto 与“Most attractive quadrant”表述、拒答任务按其他模型 token 用量估算的处理方式）。
• 它把“能力—成本—安全拒答”放在同一比较框架内，便于企业在网络防御场景下做模型选型，而不是只看单一能力分。
• 与 Artificial Analysis Search Index 的思路相呼应：都在同一评估框架下横向比较，并把质量与成本、速度等维度并列呈现。

局限与不确定性

• 除前三名分数外，其余模型的具体得分、每任务成本、输出 token、Safety Blocks 比例均待核实（材料为图表与文字片段，未列出完整数值表）。
• “Trusted-access model (not publicly available)”的具体模型身份待核实。
• 拒答任务的成本与 token 为估算值（按其他模型的 token 用量推算），并非实测。
• Cyber Index 不衡量进攻性能力，不能用于推断模型的攻击性网络能力；评估结论仅限防御性任务。
• 各基准的版本、任务规模、运行次数细节（如 DeepsecBench-AA 为三次运行取中位数之外的采样设置）待核实，应以官方 methodology 页面为准。

可用于图书/PPT/简报的角度

• “网络防御智能体怎么评”：从扫描弱点到复现崩溃再到打补丁的完整防御闭环，可作为安全评测章节的框架图。
• “能力不是唯一变量”：同一榜单并列分数、每任务成本、token 用量与安全拒答率，适合讲模型选型中的成本—安全权衡。
• “防御评测的边界声明”：明确不测 exploit、不并入通用智能指数，可作为“评测伦理与范围界定”的案例。
• “行业联盟共建基准”：Cyber Index Alliance（Collinear AI、IBM、NVIDIA、Vercel）作为产学研共建评测标准的样本。

原始材料

• 来源：Artificial Analysis Cyber Index | Artificial Analysis
• URL: https://artificialanalysis.ai/evaluations/artificial-analysis-cyber-index
• 英文标题：Artificial Analysis Cyber Index
• 英文关键词：Cyber Index, Cyber Index Alliance, CWE-Bench-AA, DeepsecBench-AA, CyberGym-E2E-AA, cyber defense, safety blocks, cost per task
• 相关链接（材料所列）：Cyber Index Alliance Launch Article; CWE-Bench-AA; CWE-bench (Collinear AI); DeepsecBench-AA; DeepsecBench (Vercel); CyberGym-E2E-AA; CyberGym-E2E (Berkeley RDI); Artificial Analysis Cyber Index methodology