知识卡片：Artificial Analysis 智能指数 v5 发布

一句话结论

Artificial Analysis 于 2026 年 10 月 27 日发布 Intelligence Index v5，这是自 v4 以来最大的一次升级：新增 2 项基准、升级 3 项评测，并首次让指数的大部分（60%）建立在私有测试集或 held-out 答案之上。

事件概述或研究问题

Intelligence Index 是 Artificial Analysis 对模型在“反映当前真实使用场景”的任务上能力的综合测量。v5 是其自 2026 年 1 月 v4 发布以来的最大升级。核心变化有两点：一是评测构成大幅调整（新增/升级/移除若干基准），二是私有数据权重首次过半（60% 基于私有测试集或 held-out 答案），以降低数据污染与刷榜空间。同期还发布了 Artificial Analysis Progress Index v1，用一条连续标尺追踪 2022 年 11 月以来模型能力随时间的变化。

方法/产品要点

新增基准：

• FrontierCode 2.0：Cognition 新发布的私有真实世界编码基准，含 132 个真实开源仓库任务，评分标准是“仓库维护者是否会合并 agent 的改动”；任一阻断性检查失败即得 0 分；任务保持私有以防污染；每个任务在自研 agent harness“Stirrup”中运行三次。
• Terminal-Bench-Science：70 个 agentic 科学研究任务，在终端环境中运行，由专家策划与审核，任务的全部测试通过才算通过。

升级项：

• HLE-Diamond：替代 Humanity's Last Exam，为 1,000 题的精细版本（CAIS 与 Scale AI），推理题与知识题各半。
• AA-Omniscience v1.1：移除已饱和与公开集题目、新增题目、修订含糊或错误题目；同时在 Hugging Face 发布公开子集 AA-Omniscience-Public-v1.1，并重新校准以保证公开集与私有集在准确率、幻觉率和整体表现上一致。
• CritPt v2：采用私有 40 题硬子集（原 70 道研究级物理题中剔除 7 个前沿模型在发布时五次尝试全部解出的 30 题），在 Stirrup 的离线 Python 沙箱中运行。

保留项： AA-Briefcase、AutomationBench-AA、GDP.pdf、Terminal-Bench 4.0。 移除项： GDPval-AA v2.1、SciCode、AA-LCR v1.1。

v5 权重结构（四大类各 25%）：

• Knowledge Work（25%）：AA-Briefcase（15%）、AutomationBench-AA（5%）、GDP.pdf（5%）
• Coding（25%）：FrontierCode 2.0（15%）、Terminal-Bench 4.0（10%）
• Science（25%）：Terminal-Bench-Science（15%）、CritPt v2 硬子集（10%）
• General（25%）：AA-Omniscience v1.1（15%，其中 10% 准确率、5% 非幻觉）、HLE-Diamond（10%）

主要结果或产业意义

总分排名： Claude Opus 5.5（max）以 58 分领先，GPT-6 Astra（max，57）与 GPT-6.1 Sol（max，55）紧随其后，Anthropic 与 OpenAI 占据前五；Gemini 4 Argon（high）以 50 分列其后。

开源权重差距扩大： 开源权重与领先者的差距从 v4.3 的 3 分扩大到 12 分。最佳开源权重模型 Kimi K3.1 Pro（权重尚未发布）为 46 分；已发布权重的模型中，DeepSeek V4.1 Flash 1017（max）与 GLM-5.3（max）以 32 分领先，落后榜首 26 分，且低于 Claude Haiku 5.5（max，36）。

成本差异： 在展示的 10 个最高分模型中，每任务成本相差逾 13 倍：GPT-6.1 Terra（max）最低为 $0.96/任务，Claude Fable 5.1（max）最高为 $13.04/任务。GPT-6.1 Sol（max）以约为 Claude Opus 5.5（max）八分之一的每任务成本，取得与其相差 4 分以内的成绩（$1.27 vs $10.04）。

单项领先分散： 9 项评测中无单一模型全面领先。Claude Opus 5.5 领先 3 项（FrontierCode 2.0 46%、HLE-Diamond 68%、AA-Omniscience v1.1 48），其余 6 项由 5 个不同模型领先：GPT-6 Astra（Terminal-Bench-Science 63%、CritPt v2 硬子集 72%）、Claude Sonnet 5.5（AA-Briefcase，1812 Elo）、Kimi K3.1 Pro（Terminal-Bench 4.0，67%）、Gemini 4 Argon（AutomationBench-AA，78%）、Muse Wonder Full（GDP.pdf，33% all-pass）。

HLE-Diamond 细节： 领先模型在知识题上明显弱于推理题——Claude Opus 5.5（max）与 GPT-6 Astra（max）推理题均为 78%，知识题分别为 58% 与 50%。

AA-Omniscience v1.1： 得分与 v1 大体一致，平均低约 2 分（中位数 0.6）。

Terminal-Bench-Science 断层： GPT-6 Astra（max）63% 领先，Claude Opus 5.5（max）59%、GPT-6.1 Sol（max）58%；其下急剧下滑：Kimi K3.1 Pro 34%、Claude Haiku 5.5（max）20%，已发布权重的最佳开源模型 DeepSeek V4.1 Flash 1017（max）仅 13%，多数被测开源模型低于 10%。

努力程度设置影响加大： Claude Opus 5.5 从 low 的 35 分到 max 的 58 分，每任务成本相差 10 倍（$0.98 vs $10.04）；Claude Sonnet 5.5 的 low–max 跨度从 v4.3 的 20 分扩大到 29 分；GPT-6.1 Sol 的跨度从 10 分翻倍到 20 分。

任务更耗 token： 所有被测模型每任务输出 token 均高于 v4.3，中位数从 35k 升至 59k（增长约三分之二）。Agentic 评测占指数权重的 55%，却占输出 token 中位数的约 90%；Terminal-Bench-Science 一项即占每任务输出 token 的约三分之一。

Progress Index v1： 将 2022 年 11 月以来发布的语言模型放在同一条能力标尺上，跨多种基准比较；设计时借鉴了 Epoch Capabilities Index 的经验。官方定位：比较当前用例与当下前沿用 Intelligence Index，比较能力随时间变化用 Progress Index。

为什么重要

• 私有数据占比首次过半（60%），是本轮升级在评测治理层面的关键信号，直接回应基准污染与“刷榜”问题。
• 开源权重与闭源前沿的差距从 3 分扩大到 12 分，且在最难的科学与知识类评测上差距最大，为“开源追赶”叙事提供了新的反例数据。
• 成本—性能曲线出现明显分层（如 GPT-6.1 Sol 以约 1/8 成本接近榜首），对企业选型与推理预算规划有直接参考价值。
• 努力程度设置对分数的影响显著加大、任务 token 消耗大幅上升，意味着“同等模型、不同配置”的对比需更谨慎，评测成本本身也在上升。

局限与不确定性

• 材料为官方公告与部分结果摘录，完整榜单、各评测的详细方法论与统计口径待核实。
• Kimi K3.1 Pro 被列为“最佳开源权重模型”但权重尚未发布，其“开源”属性与可复现性待核实。
• 排行榜页面提及 Gemini 4 Carbon 于 10 月 28 日成为 v5 新第一，与本公告（10 月 27 日）的排名结果存在时间差，最新排名以官方榜单为准，待核实。
• 各模型的“max/high/low effort”具体配置定义、成本计算口径（每任务成本如何分摊）待核实。
• Progress Index v1 的完整基准集合与标定方法细节待核实。

可用于图书/PPT/简报的角度

• “评测军备竞赛”一章：从公开基准到私有 held-out 数据集，基准污染治理的演进路径（可用 v4.2 的 40% 私有权重 → v5 的 60% 作为时间线）。
• 开源 vs 闭源差距的量化图：v4.3 的 3 分 → v5 的 12 分，配合 HLE-Diamond 与 Terminal-Bench-Science 的分项差距。
• 成本—性能散点图：10 个最高分模型的每任务成本（$0.96–$13.04，13 倍差距），标注 GPT-6.1 Sol 的性价比位置。
• “没有全能冠军”：9 项评测由 6 个不同模型分项领先，说明单一总分排名的局限性。
• Agentic 评测的算力账单：55% 权重 vs 约 90% 输出 token，Terminal-Bench-Science 独占约 1/3。
• 双指数框架：Intelligence Index（看当下）+ Progress Index（看趋势）的定位区分，适合作为“如何读懂模型排行榜”的方法论小节。

与既有脉络的关系

本卡片是对既有“Artificial Analysis 智能指数升级至 v5.0”卡片的补充与细化：既有卡片侧重权重结构与 AA-Briefcase 单项权重，本卡片补充了 v5 的具体新增/升级/移除基准清单、四大类完整权重、主要排名与成本结果、开源差距扩大、努力程度与 token 消耗变化，以及同期发布的 Progress Index v1。与 v4.1.1、v4.2 卡片构成同一指数版本的连续演进脉络（v4.1.1 → v4.2 → v5）。

原始材料

• 标题：Announcing Artificial Analysis Intelligence Index v5
• 来源：Artificial Analysis（artificialanalysis.ai/articles/artificial-analysis-intelligence-index-v5）
• 发布日期：2026 年 10 月 27 日
• 关键词：Artificial Analysis, Intelligence Index v5, FrontierCode 2.0, Terminal-Bench-Science, HLE-Diamond, AA-Omniscience v1.1, CritPt v2, Progress Index v1, private datasets, open weights gap, cost per task
• 相关链接：artificialanalysis.ai/trends（Progress Index）、artificialanalysis.ai/methodology/progress-index、artificialanalysis.ai/methodology/intelligence-benchmarking