知识卡片：FrontierCode 1.1 基准排行榜

一句话结论

FrontierCode 1.1 是 Cognition 构建、Artificial Analysis 独立实现的私有智能体编码基准，用“真实开源仓库维护者是否愿意合并该改动”作为衡量标准，当前最高分由 Claude Opus 5.5 以 52.2% 取得。

事件概述或研究问题

• FrontierCode 是来自 Cognition 的编码基准，与开源仓库维护者共同构建。每个任务要求智能体对真实开源仓库做出一处改动，基准衡量该改动是否好到足以让维护者合并。
• Artificial Analysis 实现并发布该基准的排行榜，采用 FrontierCode 1.1 Main，即 150 个任务中的主要 100 任务集。
• 核心研究问题：模型能否写出真实仓库维护者会接受合并的代码，而不仅仅是能通过测试的代码。

方法/产品要点

• 任务集为私有，以避免数据污染。
• 验证器（FrontierCode verifier）对每次尝试用六类检查评分：classical tests、command checks、reverse-classical tests、adaptive classical tests、scope checks、LLM prompt review；每类检查分为 blocking 或 non-blocking。
• 若失败任何 blocking 检查，或被 trajectory scanner 标记为查阅答案，则该次尝试得 0 分。
• 每个任务运行三次，使用 Artificial Analysis 的 Stirrup agent harness，上限 250 turns，各任务在平均分中权重相等。
• 使用 GPT-6 Luna (medium) 作为 LLM judge。
• 所有评估由 Artificial Analysis 独立执行。

主要结果或产业意义

• Claude Opus 5.5 (Max, Default Fallback) 以 52.2% 居首，其后是 GPT-6.1 Sol (Max) 49.1%、Claude Fable 5.1 (Max, Default Fallback) 49.0%。
• 排行榜共覆盖 22 个模型，并提供多维度对比：Score、Token Usage、Cost（每任务成本，区分 input / cache hit / cache write / reasoning / answer 定价）、Speed（每任务加权平均 decode 时间，排除 TTFT 与 overhead）、Score vs. Release Date 等。
• 其中“Score vs. Cost per Task”图区分出“most attractive quadrant”和 Pareto line；“Score vs. Release Date”图标注“most attractive region”。
• 涉及的模型提供方包括 Anthropic、OpenAI、Meta、SpaceXAI、Xiaomi、Alibaba、Z AI、StepFun、Kimi、Google、DeepSeek、MiniMax、Institute of Foundation Models、Thinking Machines 等。

为什么重要

• 既有编码基准多衡量“能否通过测试”，FrontierCode 把目标设定为“维护者是否愿意合并”，更接近真实工程验收标准。
• 通过六类检查（含反向经典测试、范围检查、LLM 评审）并设置 blocking 机制与答案查阅扫描，试图抑制过关式作弊与投机行为，提升评测可信度。
• 与 Artificial Analysis 既有评测脉络一致：此前 Cyber Index 关注“发现—复现—修补漏洞且不破坏既有功能”，AA-Briefcase 关注长程知识工作交付物；本卡片是编码合并意愿这一维度的增量信息，并同样运行在 Stirrup harness 上。

局限与不确定性

• 任务集私有，外部无法直接复核题目内容与覆盖分布。
• 使用 GPT-6 Luna (medium) 作为 LLM judge，评审环节的模型依赖与潜在偏差程度待核实。
• “最吸引象限”“Pareto line”“最吸引区域”等图表判断的具体阈值与计算方式，材料未给出，待核实。
• 各模型的具体配置细节（如 Max、Default Fallback 的确切含义与参数）在材料中未展开，待核实。
• 排行榜快照时间与 22 个模型的完整名单未在材料中列全，待核实。

可用于图书/PPT/简报的角度

• “能被合并的代码”作为新一代编码评测标准：从通过测试到通过维护者审查。
• 反作弊评测设计：blocking 检查 + 答案查阅扫描 + 多次运行取平均。
• 编码智能体的成本—性能权衡：每任务成本拆解（缓存命中/写入、推理、答案 token）与速度维度。
• 私有任务集与防污染：为何前沿基准越来越倾向不公开题目。
• 评测生态图谱：FrontierCode 在 Artificial Analysis 评测矩阵中的位置（与 Terminal-Bench、SciCode、LiveCodeBench、Cyber Index 等并列）。

原始材料

• 标题：FrontierCode 1.1 Benchmark Leaderboard | Artificial Analysis
• 描述：Compare AI model performance on FrontierCode 1.1 Benchmark Leaderboard. Artificial Analysis' implementation of Cognition's FrontierCode 1.1, a private agentic coding benchmark that tests models on completing coding tasks in a way that would actually get merged by maintainers of real-world repositories.
• URL：https://artificialanalysis.ai/evaluations/frontiercode
• 相关链接（材料所列）：Introducing FrontierCode；FrontierCode 1.1；FrontierCode 1.1 Launch Article；FrontierCode 1.1 Methodology