知识卡片：EarlyEval：通过早期结果预测实现更廉价的智能体评估

本卡片依据 arXiv 元数据与 Candidate summary 生成；原文正文未抓取，因此涉及论文内部细节与量化结果的内容均标注“待核实”。

一句话结论

EarlyEval 提出“早期结果预测”这一评估降本新轴：在 agent 执行过程中用一对 LightGBM 成功/失败分类器判断最终结局，一旦置信度过阈值就提前终止运行，从而在只让 agent 解决率平均变化 1–2 个百分点的情况下，最多减少 44.1% 输入 token 和 29.4% 输出 token。（待核实）

事件概述或研究问题

评估 LLM agent 对模型开发至关重要，但运行成本越来越高；一个前沿模型在 agentic benchmark 上完成一次评估可能花费数百到上千美元，并在迭代中反复支付（待核实）。现有基准蒸馏（benchmark distillation）通过减少评估任务数量降本，但没有降低每个任务内部的执行成本。EarlyEval 正是针对“任务内”成本：利用“最终结果往往在任务结束前就已从中间行为中显露出”的观察，提前判断并终止明显成功或失败的运行。

方法/产品要点

训练一对 LightGBM 分类器：一个“成功分类器”和一个“失败分类器”（待核实）。
输入特征来自三类：
- 行为特征；
- 文本特征；
- 参考解特征（reference-solution features）。
逐 step 对 agent 运行进行分类预测；当任一分类器越过校准后的置信度阈值，则立即停止该 agent 运行，避免无谓的后续计算（待核实）。
该方法带来的每步额外开销可以忽略（待核实）。

主要结果或产业意义

在 SWE-bench Verified、TerminalBench 和 Toolathlon 三个基准上，可以消除 13%–26% 的 agent 步骤（待核实）。
最多可节省 44.1% 输入 token、29.4% 输出 token（待核实）。
预测准确率范围为 89%–97%（待核实）。
对 per-agent resolve rate 的平均扰动只有 1–2 个百分点（待核实）。
产业意义上，它提供了一种可与基准蒸馏叠加的“任务内”降本手段，特别适合需要频繁进行 agent 评估的模型迭代流水线；在大规模评测中还可作为早期粗筛，把昂贵的长任务集中在更难判断的样本上。

为什么重要

早期结果预测是一条与基准蒸馏正交的效率轴：蒸馏压缩“任务数量”，EarlyEval 压缩“单个任务内的执行开销”，两者可以组合使用。
与已有“探针级联”卡片相比：探针级联用隐藏层激活和召回控制来预测失败并提前终止；EarlyEval 使用显式的 LightGBM 分类器，同时预测成功与失败，且输入除行为特征外还包括文本和参考解特征，因此是一种不同的技术路线。
与 AV-AIVAT 相比：AV-AIVAT 解决的是“比较两个智能体时何时有足够统计证据停止”的问题；EarlyEval 则解决“单个 agent 运行能否提前判定最终结果”的问题。
增量点：它在 token 节省和任务解决率扰动两个可操作指标上给出了量化结果，并明确不触碰任务数量轴，适合作为已有蒸馏方法的补充工具（待核实）。

局限与不确定性

由于原始论文正文未抓取，本文中的机制描述与定量结果均来自候选摘要，尚未通过论文原文核实。
以下细节待核实：LightGBM 特征的具体定义、置信度阈值的校准方式、成功分类器与失败分类器同时触发时的裁决逻辑、各基准的具体配置。
结论是否可推广至更多 agent 框架、更长尾任务，以及预测准确率和成本节省之间的边界条件，也需要查看原文或复现。
给出的 arXiv 链接本身作为来源被保留，但对应全文的可获取状态待核实。

可用于图书/PPT/简报的角度

一句话话术：“与其把每个 agent 任务跑完，不如在胜负已分时提前交卷。”
图表思路：坐标轴横轴为“评估任务数量”，纵轴为“单任务执行步数”；蒸馏是沿横轴压缩，EarlyEval 是沿纵轴压缩。
成本案例：如果完整评估 100 个任务需花费 1000 美元，任务蒸馏可以减少任务数，EarlyEval 则可在每个剩余任务上再提前 13%–26% 的步骤（精确叠加收益需实测），直观展示两种方法互补。

原始材料

英文标题：EarlyEval: Cheaper Agent Evaluation via Early Outcome Prediction
英文关键词：待核实（原资料未单独提供）
来源 URL：https://arxiv.org/abs/2609.02783v1
Track：academic
Topics：foundation-model
Manual title：EarlyEval: Cheaper Agent Evaluation via Early Outcome Prediction
Candidate summary（英文原文）：

Evaluating LLM agents is essential for guiding their development, yet it has grown prohibitively expensive: a single pass of a frontier model over an agentic benchmark can cost hundreds to thousands of dollars, a price paid repeatedly across iterative development cycles. Prior efforts, centered on benchmark distillation, reduce the number of evaluation tasks but leave the cost of executing each retained task untouched. In this work, we introduce early outcome prediction, a complementary axis of efficiency that instead cuts cost within each task. Our key insight is that an agent's final outcome is often evident from its intermediate behavior well before execution completes. We instantiate this idea in EarlyEval, a lightweight framework that trains a pair of LightGBM success and failure classifiers over behavioral, textual, and reference-solution features, and halts an agent run the moment either classifier crosses a calibrated confidence threshold, adding negligible per-step overhead. Across three benchmarks, SWE-bench Verified, TerminalBench, and Toolathlon, EarlyEval can eliminate 13%-26% of agent steps and up to 44.1% input tokens and 29.4% output tokens at 89%-97% prediction accuracy, while perturbing per-agent resolve rates by only one to two percentage points on average.