知识卡片：Artificial Analysis 智能指数升级至 v5.0

一句话结论

Artificial Analysis 将 Intelligence Index 升级至 v5.0，评测套件重组为 9 项测试、四大类别各占 25% 权重，其中 AA-Briefcase v1.1 以 15% 成为权重最高的单项之一，多项新评测引入私有 held-out 数据集。

事件概述或研究问题

Artificial Analysis 更新其 LLM 智能评测方法论，发布 Intelligence Index v5.0。该指数将多套评测数据集合成为单一分数，用于横向比较语言模型在推理、知识、数学与编程方面的能力。v5.0 的评测范围、类别权重与单项构成较此前版本均有调整，官方强调方法设计侧重公平性与真实场景适用性。

方法/产品要点

v5.0 由 9 项评测构成，按四类各 25% 加权：

• 知识工作（25%）：AA-Briefcase v1.1（15%，基于行业专家构建的多周知识工作项目，含大量关联任务与数千输入文件，采用 rubric 与成对比较结合的 Elo 评分）、AutomationBench-AA（5%，657 项 SaaS 工作流自动化任务，触发护栏违规即零分）、GDP.pdf（5%，100 项基于长 PDF 的自由作答，rubric LLM 评分、全通过制）。
• 编程（25%）：FrontierCode 2.0（15%，132 项开源仓库代码修改，测试加 LLM 评审，任一阻断性检查失败即零分）、Terminal-Bench 4.0（10%，66 项终端任务，pass@1）。
• 科学（25%）：Terminal-Bench-Science 0.1（15%，70 项、5 个领域）、CritPt v2 困难子集（10%，40 项，官方评分服务器）。
• 通用（25%）：AA-Omniscience v1.1（15%，3000 项开放作答，拆分为准确率 10% 与 1 减幻觉率 5% 两个分量）、HLE-Diamond（10%，1000 项，含 500 推理与 500 知识）。

通用测试参数：非推理模型温度 0、推理模型 0.6（除非模型方另有建议）；非推理模型最大输出 16,384 token，推理模型取厂商披露上限；API 失败自动重试至多 30 次，全部失败题目人工复核；总体采用 pass@1 计分。智能指数使用各模型 API 提供方报告的 token 数计算运行成本，缺失时回退到规范分词器。智能体类评测主要使用 e2b 沙箱。

方法论四原则：标准化、无偏（避免惩罚正确遵循指令的答案，采用稳健答案抽取与灵活校验）、零样本指令提示、透明（公开提示模板、评分标准与局限）。

指数为以文本为主、英语为主的评测套件；图像输入、语音输入与多语言能力另行单独评测，不计入指数。多语言指数基于 Global-MMLU-Lite，覆盖英语、中文、印地语、西班牙语、法语、阿拉伯语、孟加拉语、葡萄牙语、印尼语、日语、斯瓦希里语、德语、韩语、意大利语、约鲁巴语、缅甸语等语言。

主要结果或产业意义

材料仅披露方法论与评测构成，未给出 v5.0 下的模型排名或分数，相关结果待核实。产业意义在于：评测重心进一步向智能体式、文件产出型真实工作任务（AA-Briefcase、AutomationBench-AA、FrontierCode）倾斜，并对幻觉单独计分（AA-Omniscience 将准确率与幻觉率拆开加权），同时多项评测标注使用私有数据集，以压缩针对公开题库的优化空间。

为什么重要

相较于此前的 v4.x 系列，v5.0 的增量在于评测集合与权重的整体重构：类别权重固定为四等分，AA-Briefcase 跃升为权重最高单项之一，Terminal-Bench-Science 与 HLE-Diamond 进入指数，而早期版本中的 𝜏³-Banking、GPQA Diamond、Terminal-Bench 2.1 等被归入“Legacy Evaluations”不再计入。对使用该指数做模型选型的团队而言，跨版本分数不具直接可比性，需注意版本口径。

局限与不确定性

• 材料未提供 v5.0 的实际模型得分与排名，无法判断各模型位次变化，待核实。
• AA-Briefcase 中模型目前对每个任务独立运行，不继承此前周次的提交内容，与“多周项目”设定存在差距，官方亦在描述中说明这一点。
• 指数为英语文本为主，非英语场景与多模态能力不在其覆盖范围内。
• 部分评测的私有数据集比例、具体题目来源未在材料中完整量化，待核实。

可用于图书/PPT/简报的角度

• “评测从答题走向交付”：以 AA-Briefcase、AutomationBench-AA、FrontierCode 为例说明智能体评测向真实工作产出迁移。
• “幻觉被单独定价”：AA-Omniscience 将准确率与幻觉率拆分加权的设计，可作为讨论评测指标精细化的案例。
• “版本迭代与可比性”：v4.x 到 v5.0 的评测替换表，可用于说明榜单分数的版本口径问题。
• “私有测试集与刷榜”：多项评测标注私有数据，适合放入评测方法论的公平性章节。

与既有脉络的关系

本条是 Artificial Analysis 智能指数系列卡片（v4.1.1、v4.2、v4.3）的版本延续，增量信息为：指数升至 v5.0，评测集合重构为 9 项、四类各 25%，AA-Briefcase v1.1 与 Terminal-Bench-Science 0.1 进入指数，𝜏³-Banking、GPQA Diamond、Terminal-Bench 2.1 等转入 Legacy 列表；私有数据集的使用在多个单项中延续。v4.3 中“私有测试集权重 45%”的具体口径在本次材料中未复述，v5.0 下的对应比例待核实。

原始材料

• 标题：Intelligence Benchmarking | Artificial Analysis
• URL：https://artificialanalysis.ai/methodology/intelligence-benchmarking
• 关键英文术语：Artificial Analysis Intelligence Index v5.0、AA-Briefcase v1.1、AutomationBench-AA、GDP.pdf、FrontierCode 2.0、Terminal-Bench 4.0、Terminal-Bench-Science 0.1、CritPt v2 (Hard Subset)、AA-Omniscience v1.1、HLE-Diamond、pass@1、Legacy Evaluations
• 相关链接（材料中给出）：AA-Briefcase-Lite 数据集 https://huggingface.co/datasets/ArtificialAnalysis/AA-Briefcase-Lite；Agent harness https://github.com/ArtificialAnalysis/Stirrup