知识卡片：编码智能体已趋同：为什么 SWE-bench 排行榜无法再排序头部条目，以及应改测什么

一句话结论

对 254 个 SWE-bench 提交的审计表明：头部编码智能体在排行榜上的小分差，往往不足以支撑“谁比谁更强”的排序解读；评估应报告比较集特定的分辨率和模型-脚手架来源，而不是把小聚合差距当作已确立的排名差异。

事件概述或研究问题

论文质疑一种常见读法：编码智能体排行榜上的小差异被当作系统排序。作者不运行模型，而是审计已发布的 SWE-bench 结果，检查这些公开结论是否支持排序式解读。数据覆盖 254 个 SWE-bench 提交，涉及四个 split。

方法/产品要点

• 研究设计：不运行模型，只审计已发布提交与结果。
• 数据范围：254 个 SWE-bench 提交，覆盖四个 split；除 Verified 与 Test 外，其余 split 名称待核实。
• Verified split 上，排名前二的两条提交各自解决 500 个实例中的 396 个。
• 前十名共享 285 个成功和 51 个失败，剩下 164 个实例才用于区分它们的结果。
• 前沿解集的中位嵌套度为 0.935，而分数隐含基线为 0.774，说明成功高度共享。
• 分数还取决于“模型-脚手架”这一评估配对：观察到的同一模型下脚手架范围可达 29.8 个百分点，而前三十名的总差距为 8.8 个百分点。
• 九个 cell-mean 交互检验中有六个经 Holm 校正后仍显著；但该观察性设计不能识别因果性的脚手架效应。
• 精确配对 McNemar 检验在 alpha=0.05 下，无法分开 Verified 前三十名中的任何 29 对相邻条目；在更大的 Test split 上，则能分开 23 对中的 14 对。
• 一种设定的 leader-based 规则给出三个描述性层级，经 Holm 校正后变为两个；未拒绝零假设并不等于证明等价。
• 作者发布该划分以及一个五步审计协议：画像共享结果、检验配对差异、报告分组敏感性、估算达到分辨率所需的实例预算。

主要结果或产业意义

小聚合分差不能直接读成稳定排名。排行榜的“可排序性”取决于具体比较集：在 Verified 上，相邻头部条目几乎不可分；在更大的 Test split 上，可分辨的相邻对数更多。评估报告因此需要给出比较集特定的分辨率，并披露模型-脚手架来源，否则用户可能把统计上不可分辨的差距误当作系统差异。

为什么重要

对模型评估、采购和研究比较而言，排行榜排序可能产生误导。该研究的增量在于：它不是提出新的编码智能体能力或效率方法，而是审计“排行榜结论本身是否成立”。与既有相关卡片相比：

• SWE Refactor Bench 关注编码智能体能否完成长周期、整仓库栈迁移，结论是能力仍不足；
• SWE-Pruner Pro 关注编码器 LLM 如何剪枝工具输出以节省 token；
• 本条则把焦点转向 SWE-bench 排行榜的评估方法，指出即使头部分数接近，也未必能形成可靠排序。它补充了“能力评测”脉络中的统计与报告规范问题。

局限与不确定性

• 该设计为观察性研究，不能识别因果性的脚手架效应。
• “未拒绝”不等于“等价”；不能仅因检验不显著就断言系统相同。
• 研究不运行模型，只审计已发布提交，因此无法独立复现模型运行过程。
• 四个 split 的完整名单与除 Verified、Test 外的具体结果待核实。
• 代码、数据或划分的公开地址未在摘要中给出，待核实。
• 英文关键词字段源材料未单列，待核实；可据标题/摘要暂拟检索词：coding agents, SWE-bench, leaderboard, evaluation, model-scaffold, McNemar。

可用于图书/PPT/简报的角度

• “排行榜不是排名”：统计显著性与实际可分辨性是两件事。
• “比较集特定分辨率”：同一批系统在不同 split 上能被分开的程度不同。
• “模型-脚手架来源必报”：同一模型换脚手架可产生 29.8 个百分点差异，超过前三十名 8.8 个百分点的总差距。
• “五步审计协议”：共享结果画像、配对差异检验、分组敏感性、实例预算估算、报告分辨率。
• 评估设计中的“分辨率预算”：要区分头部系统，需要多少实例、什么比较集、什么统计阈值。

原始材料

• 英文标题：Coding Agents Have Converged: Why the SWE-bench Leaderboard Can No Longer Order Its Top Entries, and What to Measure Instead
• 作者：Fengshuo Liu, Ying Liu, Ruize Sun, Lie Luo, Siyuan Guo
• arXiv ID：2609.17394v1
• 发布/更新：2026-09-15T16:29:12Z
• 分类：cs.SE；cs.AI
• Abstract URL：https://arxiv.org/abs/2609.17394v1
• PDF URL：https://arxiv.org/pdf/2609.17394v1
• 来源轨道：academic；主题：foundation-model
• 英文关键词：待核实（源材料未单列关键词）