知识卡片：在能解题之前：从基座模型预测后训练编程智能体表现

一句话结论

待核实：该研究提出用后训练智能体的成功轨迹作为“前瞻信号”，在无需基座模型冷启动驱动完整工具链的前提下，通过三种筛选指标预测哪个基座检查点值得进行昂贵的智能体后训练。

事件概述或研究问题

• 论文标题：Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models
• 来源：arXiv（编号 2610.10478v1）
• 研究问题：如何在进行昂贵的智能体后训练之前，预测哪个基座检查点（base checkpoint）值得投入？
• 已有评测思路的不足（据候选摘要）：端到端 pass@$K$ 检验成功行为是否已出现在基座模型分布中，但对智能体编程场景适配性差——许多基座检查点无法可靠产出完成任务所需的规范工具调用。单轮或短程任务通过将多步交互压缩为固定提示与单一补丁来回避工具调用失败，但也绕开了真正关心的核心能力：在仓库不断演化时、跨多步工具使用中维持连贯状态。

方法/产品要点

• 核心思想：将后训练智能体的成功轨迹视为基座模型潜力的前瞻信号。
• 决定性步骤（decisive step）识别：回放每条轨迹，在每个改动代码的步骤后重跑测试，找到第一个使仓库从失败转为通过的累积补丁所对应的步骤——该步骤经认证在给定前序上下文下解决了任务。
• 三种筛选指标（均不需要基座检查点从冷启动驱动测试框架）：
  1. Decisive-Action BPB（bits per byte）：衡量已认证动作上的概率质量。
  2. Patch MCQ：测试检查点在该动作与经同一验证器否决的备选动作之间的选择。
  3. prefix-conditioned pass@$K$：评估对功能正确生成的支持度，并对测试接受的任何续写给予认可。
• 适用条件（据候选摘要）：方法仅需基准的成功轨迹与其验证器，可将来来的智能体编程基准转化为基座模型评测。

主要结果或产业意义

• 据候选摘要：在十对公开基座模型与后训练模型上，三种筛选指标对队列的排序与后训练 SWE-bench Verified pass@$1$ 高度一致。
• 产业意义（待核实）：若方法成立，可在投入昂贵后训练前筛选基座检查点，降低试错成本；并使现有智能体编程基准可复用为基座模型评测工具。

为什么重要

• 与已有脉络的关系：已有卡片《后训练语言模型在编程竞赛中达到金牌水平》聚焦后训练方案与测试时计算在 IOI 赛制上的表现；本卡片关注的是后训练之前的预测与筛选问题，即如何从基座模型预判后训练潜力，属于更前置的一环。
• 已有卡片《基础模型可借训练数据中的起始 token 线索推理》讨论基座模型推理受起始 token 线索影响；本卡片讨论以轨迹为线索预测基座模型在后训练后的表现，二者都涉及“基座模型中已存在的信号”，但对象与用途不同。
• 若方法可复现，可能改变智能体编程后训练的算力分配策略（待核实）。

局限与不确定性

• 未能抓取正文，以上内容基于已知元数据与候选摘要，具体实验设置、模型清单、指标定义细节均待核实。
• 十对模型的规模与多样性、SWE-bench Verified 之外基准的适用性待核实。
• 方法依赖基准提供成功轨迹与验证器，缺少这两项的场景是否适用待核实。
• 三种筛选指标与后训练 pass@$1$ 的一致性是否为因果性预测、抑或仅相关性，待核实。

可用于图书/PPT/简报的角度

• “先预测，再训练”：把后训练预算花在最有潜力的基座检查点上。
• 基准的二次利用：带验证器的智能体编程基准可转为基座模型评测集。
• 决定性步骤作为可解释信号：从轨迹中定位“翻转失败为通过”的关键动作。
• 评测范式的迁移：从端到端 pass@$K$ 到面向工具调用失败场景的筛选指标。

原始材料

• 标题：Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models
• 来源：arXiv
• URL: https://arxiv.org/abs/2610.10478v1
• 编号：arXiv:2610.10478v1
• Track: academic
• Topics: foundation-model
• 备注：未能抓取正文，本卡片基于元数据与候选摘要生成，标注“待核实”处需查阅原文确认。