知识卡片：FrontierCode 1.1 在 Artificial Analysis 上线——模型写的代码，真实仓库维护者愿意合并吗？

一句话结论

FrontierCode 1.1 用“真实开源仓库维护者是否愿意合并该改动”作为衡量标准，在 Artificial Analysis 上以独立排行榜形式发布；领先模型仍失败超过 40% 的时间，榜首 Claude Opus 5.5 (max with fallback) 平均得分 52%。

事件概述或研究问题

• 这是 Artificial Analysis 发布的 FrontierCode 1.1 原创上线文章，展示截至 2026-10-12 的 FrontierCode 1.1 结果，并指向实时排行榜。
• FrontierCode 是 Cognition 构建的编码基准，与开源仓库维护者合作设计。每个任务要求智能体对真实开源仓库做一次改动，基准衡量该改动是否好到足以让该仓库维护者合并。
• 核心研究问题：AI 模型能否写出维护者愿意合并的代码改动？

方法/产品要点

• 评估范围：FrontierCode 1.1 共 150 个任务，本次评估使用其主要任务集 FrontierCode 1.1 Main 的 100 个任务。
• 任务私有以防污染。
• 统一 agent harness：所有模型都在 Artificial Analysis 的开源 harness Stirrup 中运行，每次尝试上限 250 turns，以实现同类可比。
• 评分机制：不止看测试是否通过。FrontierCode verifier 结合确定性测试与定性审查——包括隐藏测试与命令检查、对改动涉及哪些文件及改动量的限制、以及依据维护者标准的 LLM 评审。
• 每项检查分为阻断性（blocking）与非阻断性（non-blocking）。任何阻断性检查失败得 0 分；全部通过则得分在 70% 到 100% 之间。
• 评判模型：LLM judge 使用 GPT-6 Luna (medium)。
• 公平联网规则：被 Cognition 轨迹扫描器标记为查阅答案的尝试得 0 分。
• 计分方式：每个任务的 3 次尝试先平均，再对任务得分等权平均。
• 版本背景：Cognition 于 2026 年 6 月宣布 FrontierCode，2026 年 7 月发布 1.1 版，新增了公平联网使用规则。维护者来自 36 个开源仓库，每个任务投入超过 40 小时。
• 定位：FrontierCode 1.1 作为独立排行榜上线，不属于 Artificial Analysis Intelligence Index；官方计划很快将其加入 Coding Agents 排行榜。

主要结果或产业意义

• 领先模型仍失败超过 40% 的时间。Claude Opus 5.5 (max with fallback) 居首，平均分 52%，通过率 58%（通过率指完成所有阻断性标准的尝试占比，得分还反映非阻断性的期望行为）。
• 榜首密集：来自 6 个实验室的 9 个模型得分在 43% 到 52% 之间。
• 开源权重领先者：MiMo-V2.6-Pro 以 45% 位居开源权重模型首位，其次是 DeepSeek V4.1 Flash (max) 和 Kimi K3 (max)，均为 44%。
• 成本效益：GPT-6.1 Sol (max) 每任务 0.81 美元、得分 49%，与 Claude Fable 5.1 (max with fallback) 持平，而后者的每任务成本是其十倍以上。
• 任务难度：100 个任务中有 9 个没有任何模型在任何尝试中通过；没有任何任务被所有模型在每次尝试中都通过。
• 通过率区间：从 Claude Opus 5.5 (max with fallback) 的 58% 到 Muse Glimmer (high) 的 16%。
• 成本跨度超过 100 倍：从 GPT-6 Luna (max) 的每任务 0.09 美元到 Claude Fable 5.1 (max with fallback) 的 12.00 美元。四个模型位于得分-成本帕累托前沿：GPT-6 Luna (max) 42%/0.09 美元、MiMo-V2.6-Pro 45%/0.18 美元、GPT-6.1 Sol (max) 49%/0.81 美元、Claude Opus 5.5 (max with fallback) 52%/10.15 美元。帕累托前沿最后一步（从 GPT-6.1 Sol (max) 到 Claude Opus 5.5 (max with fallback)）以超过 12 倍的每任务成本换取 3 分提升。
• Token 效率：GPT-6 系列领先。GPT-6 Astra (max) 与 GPT-6.1 Sol (max) 每任务约用 27k 和 33k 输出 token，而 Claude Opus 5.5 (max with fallback) 约 157k，Claude Sonnet 5.5 (max with fallback) 约 236k（所有模型中最多的）。
• 时间：每任务时间取决于 token 用量与实际输出速度，从 Inkling (xhigh) 的约 3 分钟到 Qwen3.8 Max (0902) 的约 46 分钟不等。

为什么重要

• 该基准把“可合并性”而非单纯测试通过作为衡量标准，更贴近真实软件开发中的维护者视角；模型现已非常擅长编码任务，但它们的改动仍可能需要大量清理才能被维护者接受。
• 它显式惩罚过度改动、大 diff、修改范围外文件、添加无用测试等行为，弥补了只测测试是否通过的编码评估的盲区。
• 对选型与成本/性能权衡有直接参考：得分-成本帕累托前沿和超过 100 倍的成本跨度，提示高分未必等于高性价比。

局限与不确定性

• 本卡片依据的是上线文章与摘录，具体任务内容、维护者名单、完整评分细则等待核实（详见 methodology 页面）。
• 分数为截至 2026-10-12 的结果，最新模型的实时结果需查阅 FrontierCode 1.1 排行榜。
• 成本数字依赖各模型 token 定价与规范 token 计数，不同时间点可能变化，待核实。
• 时间数据受实时输出速度影响，可能随服务状况波动。
• 未在材料中说明的信息（如具体失败原因分布、各任务难度分布、judge 误差等）待核实。

可用于图书/PPT/简报的角度

• “能被合并才算过关”：从测试通过到维护者愿意合并，编码评估标准的迁移。
• 领先模型仍有 40%+ 失败率：能力宣传与真实仓库落地之间的差距。
• 成本-性能帕累托前沿：为什么最贵的一步只换来 3 分。
• Token 效率之争：GPT-6 系列低 token 用量 vs. Claude 系列高 token 用量。
• 9/100 任务无人通过、无任务被全模型全通过：基准难度与区分度的设计含义。
• 评测方法学：阻断性 vs. 非阻断性检查、公平联网规则、防污染的私有任务集。

与既有脉络的关系

• 已有卡片《FrontierCode 1.1 基准排行榜（2026-10-13）》已陈述：基准由 Cognition 构建、Artificial Analysis 独立实现，以“维护者是否愿意合并”为标准，Claude Opus 5.5 以 52.2% 居首。本卡片增量在于：这是上线文章的视角与更多方法学细节（150 任务取 100、Stirrup harness 250 turns 上限、GPT-6 Luna 作 judge、维护者来自 36 个仓库、每任务超 40 小时投入、阻断/非阻断评分与 70%–100% 得分区间），以及成本/Token/时间的详细发现（成本跨度 100 倍、四个帕累托前沿模型、GPT-6 系列 token 效率领先、9/100 任务无人通过等）。
• 与《Artificial Analysis 模型比较工具》相比，本条聚焦单一编码基准而非通用比较工具，二者互补：本条提供编码可合并性维度的纵深数据。
• 与《Cyber Index Alliance 与 Cyber Index》（均使用 Stirrup harness）相比，本条同样运行在 Stirrup 上，可视为 Artificial Analysis 用统一 harness 覆盖不同领域评估的延续。

原始材料

• 标题：Announcing FrontierCode on Artificial Analysis: can AI models write code maintainers would merge?
• 来源：Artificial Analysis
• URL: https://artificialanalysis.ai/articles/frontiercode
• 日期：2026-10-12
• 关键词：FrontierCode 1.1；Cognition；coding benchmark；agent harness；Stirrup；mergeable code；pass rate；cost per task；token efficiency；maintainer review
• 相关资源：FrontierCode 1.1 评估页与排行榜、methodology page、Cognition 的 Introducing FrontierCode 与 FrontierCode 1.1 博客、开源 Stirrup harness（GitHub）