知识卡片：Artificial Analysis Decision Index v1.0

一句话结论

Artificial Analysis 于 2026-10-13 发布 Decision Index v1.0，用四项评测（知识/幻觉、推理、工具调用、分类）横向对比“决策模型”这一新类别——它们在一次调用中对固定选项输出带概率的结构化答案，在成本与速度上明显优于 LLM，但在知识与推理上落后，且整体过度自信。

事件概述或研究问题

• 发布方：Artificial Analysis。
• 时间：2026-10-13（据文中日期）。
• 对象：decision models（决策模型）——与面向复杂推理、长程任务的 LLM 不同，决策模型专注“更快、更低成本地做结构化决策”。
• 核心问题：决策模型相对其他决策模型、以及相对 LLM，在能力、成本、速度上如何权衡。
• 机制差异：决策模型在一次调用中从固定选项集合中选出一项，并为每个选项给出概率；LLM 则生成结构化输出，只给出所选选项、不提供每项概率。

方法/产品要点

Decision Index v1.0 由四项评测等权组成（各占 25%）：

• 知识与幻觉：AA-Omniscience-Decision。500 道私有问题，改编自 AA-Omniscience；每题五选一（四个答案，其中一个正确，外加“I don't know”）。accuracy 与 non-hallucination rate 各占 12.5%。
• 推理：HLE-MultiChoice。取自 Humanity's Last Exam 的 513 道纯文本多选题，每题作为其字母选项中的一个选择。
• 工具调用：When2Call（NVIDIA 的工具调用评测）。给定对话与一组工具，模型需选择直接回答、调用工具、请求更多信息，或表示无法回答。
• 分类：WildGuardTest（Ai2 的安全分类测试集）。判断用户请求是否有害、助手回复是否为拒绝、该回复是否有害。
• 对照：所有评测同样跑 LLM；LLM 以结构化输出给出所选选项，因此不提供每项概率。
• 计分口径：Index 为四项评测的加权平均；成本按每百万任务（Cost per 1M Tasks）折算，时间为每任务中位时延；决策模型仅按输入 token 计费，LLM 按输入+输出 token 计费。
• 概率校准：由于决策模型给出概率，可检验其“所选答案的概率”与实际正确率是否一致。

主要结果或产业意义

• 榜单（发布时）：Jev 1.13 以 58 分居首，GLiDE 与 Microsoft-Decision-1 同为 54。
• 分项表现（Jev 1.13）：HLE-MultiChoice 得 21（其他模型 ≤15）；AA-Omniscience-Decision accuracy 35（低于多数决策模型，Liquid AI 的 d1 以 41 居首），non-hallucination rate 35（d1 仅 2）；When2Call 81（第四，Celeris-1 Decision 与 GLiDE 以 84 领先）；WildGuardTest 94（与 Perplexity 的 Decider v1.1 27B 持平，落后 GLiDE 的 95 一分）。
• 成本与速度区间：每百万任务成本 $17–$199；每任务中位时间 0.06–0.5 秒。Decider v1.1 27B 成本最低（$17），Microsoft-Decision-1（$31）与 Jev 1.13（$42）同在能力-成本帕累托前沿；GLiDE 得分与 Microsoft-Decision-1 持平但成本约三倍于 Jev 1.13（$119）；Celeris-1 Decision 最快（0.06 秒，Jev 1.13 为 0.13 秒）。
• 与 LLM 对比：Claude Haiku 5.5 (Low) Decision Index 61，领先 Jev 1.13 三分，但每任务 1.4 秒（11 倍慢）、每百万任务 $184（4.4 倍贵）；GPT-6 Luna (Low) 55 分，1.5 秒/任务、$131。
• 知识/推理：LLM 领先——AA-Omniscience-Decision accuracy 上 Claude Haiku 5.5 (Low) 52、GPT-6 Luna (Low) 66，决策模型仅 28–41；HLE-MultiChoice 分别为 24、22，决策模型仅 Jev 1.13 达 21，其余 ≤15。
• 分类与工具调用：领先决策模型与 LLM 相当——WildGuardTest 上 GLiDE 95、Decider v1.1 27B 与 Jev 1.13 94，对比 Claude Haiku 5.5 (Low) 93、GPT-6 Luna (Low) 89；When2Call 上 Celeris-1 Decision 与 GLiDE 84，对比 GPT-6 Luna (Low) 77、Claude Haiku 5.5 (Low) 73。
• 校准：几乎所有概率档位上，实际准确率都低于所赋概率，即整体过度自信；主要来自 HLE-MultiChoice 与 AA-Omniscience-Decision 上校准较差，而 When2Call、WildGuardTest 上多数决策模型校准相对较好。
• “知道何时不答”：AA-Omniscience-Decision 每题都提供 “I don't know”，non-hallucination rate 指未答对的问题中模型选择该项的比例。Microsoft-Decision-1 以 40% 领先决策模型，Jev 1.13 35%、Mercury Decide 32%；其余决策模型均未达 17%。

为什么重要

• 为“决策模型”这一新兴类别提供了首个跨分类、工具调用、知识、幻觉与推理的横向基准，便于开发者和企业在能力、成本、速度之间做取舍。
• 量化了一个关键权衡：决策模型在分类与工具调用上可与 LLM 比肩，且更便宜更快；但在知识与推理上仍明显落后，并且普遍过度自信——这直接影响高风险场景下的可用性判断。
• 将“拒答/不答”作为独立能力指标（non-hallucination rate），把幻觉控制与准确率分开衡量。
• 与既有卡片的关系：本条延续 Artificial Analysis 的系列垂直基准脉络（如 Search Index、Cyber Index），但增量在于这是面向“决策模型”新类别、而非搜索 API 或网络防御智能体的基准；同时与“模型比较工具”卡片不同的是，它提供的是任务级（每百万任务成本、每任务时延）而非纯 token 级的比较视角。

局限与不确定性

• 具体评测方法细节需参见其 methodology 页面，本文摘录未完整覆盖，待核实。
• 决策模型的成本口径为“仅输入 token 计费”，与 LLM 的“输入+输出”口径不同，直接横向比较成本时需注意口径差异；原文以每百万任务折算，待核实其可比性细节。
• 语言模型的校准结果原文标注“coming soon”，尚不可得。
• 榜单为发布时（as of launch）结果；最新模型与实时分数需查看 Decision Index 排行榜。
• 部分对比结论（如“决策模型过度自信”）基于所纳入的 9/11 个决策模型，样本范围有限，待核实更广泛模型的稳健性。

可用于图书/PPT/简报的角度

• “决策模型 vs LLM”：一次调用输出带概率的固定选项，换来成本与速度优势，却牺牲知识与推理——一张帕累托前沿图即可说明取舍。
• 过度自信的校准问题：把“所选答案概率”与“实际正确率”对照，说明概率输出不等于可靠概率。
• “知道何时不答”：non-hallucination rate 作为独立指标，展示拒答能力在模型间的巨大差异（40% vs 不足 17%）。
• 任务级成本视角：以“每百万任务成本/每任务时延”而非 token 价格比较模型，更贴近业务部署决策。
• 分类与工具调用已可比肩 LLM，可作为“哪些环节可先用更便宜模型替代”的产业落地切入点。

原始材料

• 来源 URL: https://artificialanalysis.ai/articles/artificial-analysis-decision-index
• 原始标题: Artificial Analysis Decision Index v1.0
• 原始描述: The Artificial Analysis Decision Index benchmarks decision models, a new category of models that answer structured decisions in a single call with a probability for each option. Version 1.0 combines four evaluations across classification, tool calling, knowledge, hallucination, and reasoning.
• 原始发布日期: October 13, 2026
• 原始关键词/板块: Decision Index leaderboard; AA-Omniscience-Decision; HLE-MultiChoice; When2Call; WildGuardTest
• 延伸阅读（原文指向）: methodology page；各评测独立排行榜；decision-models@artificialanalysis.ai