知识卡片：Artificial Analysis 发布智能指数 v4.3：引入 AutomationBench-AA 并升级 Terminal-Bench v4.0

一句话结论

Artificial Analysis 于 2026 年 9 月 7 日发布 Intelligence Index v4.3，用 Zapier 的 AutomationBench-AA 替换 𝜏³-Banking，并将 Terminal-Bench 升级至 v4.0；Claude Fable 5.1（max with fallback）与 GPT-6 Astra（max）并列以 53 分领跑，私有测试集权重从 40% 提升至 45%。

事件概述

这是 Artificial Analysis 向 Intelligence Index v5 过渡的延续性更新。v4.3 是继 v4.2（2026-09-04）之后的又一次中间版本，提前引入了原计划用于 v5 的部分改动。本次更新包括：

• 升级 Terminal-Bench：从 v2.1 升至 v4.0，任务更难，覆盖软件、机器学习、科学、运维、安全、硬件、媒体等领域，并重新校准了计算与时间限制、改进了任务说明/环境/验证。共运行全部 66 项任务，每次 3 遍，报告平均 pass@1。
• 替换 𝜏³-Banking 为 AutomationBench-AA：与 Zapier 合作，使用基准 v1.0.6 的 held-out 测试集，共 657 个任务，覆盖 Finance、HR、Marketing、Operations、Sales、Support。模型需在模拟业务应用中工作并自行发现相关 API。计分方式为：按每个任务完成目标的比例给分，若出现任何 guardrail violation 则该任务得分为零。另有 “Tasks Completed” 指标，指“无违规且完成所有目标”的工作流占比。

方法/产品要点

• Intelligence Index v4.3 包含 10 项评测：AA-Briefcase、GDPval-AA v2、AutomationBench-AA、Terminal-Bench v4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1。
• 类别权重与 v4.2 相同：Agents 30%、Coding 20%、General 30%、Scientific Reasoning 20%。
• 权重变化：AutomationBench-AA 以 5% 权重替换 𝜏³-Banking 的 5%；Terminal-Bench 4.0 保持与 Terminal-Bench 2.1 相同的权重（10%）。
• 私有测试集占比提升：具有 private questions/answers 的评测权重合计从 v4.2 的 40% 升至 45%。
• 模型排名亮点：
  • Claude Fable 5.1（max with fallback）与 GPT-6 Astra（max）均获 53 分；其后为 Claude Opus 5（max，51）、Claude Fable 5（with fallback，50）、Muse Spark 1.3（max，48）、GPT-5.6 Sol（max，47）。
  • 开源权重模型中，GLM-5.3 Flash（42）被视为第三强开源模型，其后为 Qwen3.8 2.4T A95B（40）和 DeepSeek V4 Pro 0813（max，36）。
  • 在“智能 vs. 每任务成本”的 Pareto 前沿上，OpenAI 占大部分：GPT-6 Astra 的五个推理强度均提供同智能水平下最低的 Cost per Task；其余前沿点为 MiMo-V2.5-Pro（26）、GLM-5.3-Flash（42）、Claude Fable 5.1（xhigh, max, 53）。

主要结果或产业意义

• Terminal-Bench v4.0 分数：GPT-6 Astra（max）59.1%，Claude Fable 5.1（max with fallback）52.0%，Claude Opus 5（max）49.0%；GPT-6 Astra 比 GPT-5.6 Sol（max）高出 19.2 个百分点（后者为 39.9%）。
• AutomationBench-AA Score：GPT-6 Astra（max）68.5%，Grok 4.6（high）66.7%，GLM-5.3（max）62.2%。
• AutomationBench-AA Tasks Completed：GPT-6 Astra（max）41.6%，Claude Fable 5.1（max with fallback）32.1%，Claude Opus 5（max）28.3%。完全完成任务且无违规明显比完成部分目标更难。
• 成本差异：GPT-6 Astra（max）与 Claude Fable 5.1（max with fallback）同为 53 分，但每任务平均成本分别为 $3.26 与 $7.63，Astra 低约 57%。GLM-5.3-Flash 与 GPT-5.6 Terra（max）同为 42 分，但 GLM-5.3-Flash 每任务成本仅为后者的 18%（$0.25 vs. $1.40）；GPT-5.6 Luna（max）以 $0.18/任务获 38 分。
• 不同模型擅长领域不同：Claude Fable 5.1 在 AA-Briefcase 和 SciCode 上更高，GPT-6 Astra 在 Terminal-Bench v4.0 和 AutomationBench-AA Score 上更高。

为什么重要

• 本次更新是 v5 路线中的一步，体现 Artificial Analysis 持续提高评测真实工作难度、加入私有测试集以降低“刷榜”空间、并减少饱和的设计思路。
• 与已有相关卡片相比，本卡片提供增量信息：v4.3 将 v4.2 中新增的更接近工作场景的评测方向进一步深化——用 Zapier 的真实业务工作流自动化基准（AutomationBench-AA）替换了 v4.1.1 引入的 𝜏³-Banking，并完成了 Terminal-Bench 到 v4.0 的升级。
• 私有测试集权重从 v4.2 的 40% 升至 45%，表明“防刷”机制继续加强。
• 新结果中 Claude Fable 5.1 与 GPT-6 Astra 并列第一，与 v4.1.1 时 Claude Opus 5 独占第一的局面相比，头部竞争格局发生了变化（具体分数不可直接跨版本比较，待核实）。

局限与不确定性

• 不同版本指数（v4.1.1、v4.2、v4.3）因评测集和权重不同，分数不宜直接横向比较；文中未提供跨版本分差。
• AutomationBench-AA 的测试集由 Artificial Analysis 与 Zapier 合作运行，声称是 held-out 测试集，但关于该测试集是否会随时间泄漏或更新，原文未说明。
• 模型名称如 Claude Fable 5.1、GPT-6 Astra、GLM-5.3 等均为来源材料中出现；部分模型与开源权重模型的对应关系及具体版本日期待核实。
• “4 labs occupy the Intelligence vs. Cost per Task Pareto frontier” 中提及的实验室与模型数量对应关系：OpenAI（GPT-6 Astra 多个推理强度）、MiniMax（MiMo-V2.5-Pro）、Z AI（GLM-5.3-Flash）、Anthropic（Claude Fable 5.1）——原文未逐一标注，此对应为根据生成的材料推断，需以原始图表为准。
• 各项评测的完整方法细节（如 Terminal-Bench v4.0 的任务构成、AutomationBench-AA 的指令/API 发现机制等）需查阅原文“methodology”链接，本文未核实。

可用于图书/PPT/简报的角度

• 展示 AI 模型评估从静态问答向“真实业务工作流自动化”迁移的趋势。
• 用 AutomationBench-AA 案例说明“完整完成任务 + 不违反 guardrail”与“部分完成目标”之间的显著差距。
• 用 GPT-6 Astra 与 Claude Fable 5.1 的“同分不同成本”对比，说明智能指数接近时成本仍差异巨大。
• 以私有测试集权重从 40% 到 45% 为例，说明第三方评测机构如何应对“刷榜”与数据污染。
• 作为“智能指数 v4.1.1 → v4.2 → v4.3”系列更新的最新节点，说明头部模型排位变化及评测方法演进。

原始材料

• 英文标题：Announcing the Artificial Analysis Intelligence Index v4.3
• 英文关键词：Artificial Analysis, Intelligence Index, v4.3, AutomationBench-AA, Terminal-Bench v4.0, agentic benchmark, private test set
• 原始来源：https://artificialanalysis.ai/articles/artificial-analysis-intelligence-index-v4-3
• 摘要（fetched description）：We are upgrading Terminal-Bench to v4 and adding AutomationBench-AA, an agentic workflow automation benchmark with a private test set. This is a continuation of our rollout of Intelligence Index v5.
• 发布时间：September 7, 2026（原文页面标注）