知识卡片:超越结果——面向高效智能体基准评测的双视角关系学习
英文标题:Beyond Outcomes: Dual-View Relational Learning for Efficient Agent Benchmarking
英文关键词(据标题/摘要提取,非原文关键词列表):Agent benchmarking; benchmark compression; DualViewEval; process signals; outcome and process relations; miniset; MAE; Kendall's τ
一句话结论
DualViewEval 通过联合利用“结果关系”和“过程关系”来压缩智能体基准,在少量任务上预测全基准分数,并在多个智能体基准上优于代表性基线。
事件概述或研究问题
智能体基准的评测成本显著高于传统 LLM 基准,因此基准压缩是自然需求。材料指出,现有方法主要建模任务—模型最终分数分布中的冗余。为弥补这一局限,作者分析大规模轨迹,识别出六类与最终智能体表现系统相关的互补过程信号,并提出从完整视角解耦智能体性能冗余的问题。
方法/产品要点
- 提出 DualViewEval:一种智能体基准压缩方法。
- 核心思路:联合利用结果与过程关系,学习一个固定大小的 miniset,并预测全基准分数。
- 过程信号:作者称从大规模轨迹中识别出六类互补过程信号,并与最终智能体表现系统性相关;具体信号名称、定义与计算方式在摘要/元数据中未给出,待核实。
- 实验覆盖五个智能体基准和五个代表性基线。
主要结果或产业意义
- 在全部数据集上,DualViewEval 取得最佳结果。
- 仅使用 20 个任务,在 APEX-Agents 和 BFCL 上实现 (24\times)–(40\times) 压缩。
- 相比最强竞争者,平均绝对误差(MAE)降低 (14.5%)–(28.2%)。
- 在 SWE-bench Verified 上,相比 EssenceBench,Kendall's (\tau) 最高提升 (7.2%)。
- 选出的 miniset 还能揭示不同智能体之间的能力差异,为高效智能体模型开发提供紧凑且具诊断性的反馈。
- 产业意义:若结果可复现,该方法可能降低智能体评测成本,同时保留对全基准分数和模型排序的预测能力。
为什么重要
智能体评测通常比普通 LLM 评测更昂贵,压缩基准可直接影响研发迭代速度。DualViewEval 的增量在于不只依赖最终分数分布,而是把过程关系纳入压缩与预测,可能更贴近智能体行为特征。与已有相关卡片主题无直接延续或更新关系;本条新增的是“智能体基准压缩/高效评测”方向。
与既有脉络的关系
现有相关卡片分别涉及 MLIP 优化器、组合图像检索和多智能体代码编排,与本条没有直接事实重叠或延续关系。本条可作为 foundation-model 主题下“智能体评测效率与基准压缩”的新增节点。
局限与不确定性
- 六类过程信号的具体内容、定义、计算方式和跨基准稳定性:待核实。
- 五个智能体基准的具体名称中,仅 APEX-Agents、BFCL、SWE-bench Verified 在摘要中明确出现;其余基准名称待核实。
- 五个代表性基线的具体名称、实验配置、智能体模型、任务规模和统计显著性:待核实。
- 消融实验、复现资源、代码/数据开源情况、作者机构与同行评审状态:待核实。
- MAE 与 Kendall's (\tau) 的提升是相对特定竞争者和特定基准的结果,向其他基准或真实开发流程的泛化边界待核实。
可用于图书/PPT/简报的角度
- 从“只看最终结果”转向“结果 + 过程”的智能体评测设计。
- 基准压缩如何降低智能体评测成本:20 个任务、(24\times)–(40\times) 压缩作为案例。
- miniset 作为诊断工具:用少量任务揭示不同智能体的能力差异。
- 双视角关系学习:如何同时建模任务—模型结果关系和过程行为关系。
- 智能体模型开发中的快速反馈闭环:紧凑评测与全基准分数预测。
原始材料
- 英文标题:Beyond Outcomes: Dual-View Relational Learning for Efficient Agent Benchmarking
- arXiv ID:2609.18909v1
- 作者:Xinshuai Guo, Junjie Wu, Dolly Deng, Yinghui Li, Hai-Tao Zheng, Suncong Zheng, Maxm Pan
- 发布:2026-09-16T16:49:50Z
- 更新:2026-09-16T16:49:50Z
- 主分类:cs.CL
- 分类:cs.CL, cs.AI
- 摘要页:https://arxiv.org/abs/2609.18909v1
- PDF:https://arxiv.org/pdf/2609.18909v1
发现内容有误?
免登录提交,管理员审核并完成修正后才会公开修订说明。
值得关注
智能体评测通常比普通 LLM 评测更昂贵,压缩基准可直接影响研发迭代速度。DualViewEval 的增量在于不只依赖最终分数分布,而是把过程关系纳入压缩与预测,可能更贴近智能体行为特征。与已有相关卡片主题无直接延续或更新关系;本条新增的是“智能体基准压缩/高效评测”方向。
相关主题
对应的教材知识点
教材知识点匹配尚未完成。