AI消息速览

超越结果——面向高效智能体基准评测的双视角关系学习

事件日期 2026-09-16 · 学术前沿 · 已接受

事件日期2026-09-16
信息日期2026-09-16
入库日期2026-09-18
通道学术前沿
状态已接受
来源arXiv 论文

知识卡片:超越结果——面向高效智能体基准评测的双视角关系学习

英文标题:Beyond Outcomes: Dual-View Relational Learning for Efficient Agent Benchmarking

英文关键词(据标题/摘要提取,非原文关键词列表):Agent benchmarking; benchmark compression; DualViewEval; process signals; outcome and process relations; miniset; MAE; Kendall's τ

一句话结论

DualViewEval 通过联合利用“结果关系”和“过程关系”来压缩智能体基准,在少量任务上预测全基准分数,并在多个智能体基准上优于代表性基线。

事件概述或研究问题

智能体基准的评测成本显著高于传统 LLM 基准,因此基准压缩是自然需求。材料指出,现有方法主要建模任务—模型最终分数分布中的冗余。为弥补这一局限,作者分析大规模轨迹,识别出六类与最终智能体表现系统相关的互补过程信号,并提出从完整视角解耦智能体性能冗余的问题。

方法/产品要点

  • 提出 DualViewEval:一种智能体基准压缩方法。
  • 核心思路:联合利用结果与过程关系,学习一个固定大小的 miniset,并预测全基准分数。
  • 过程信号:作者称从大规模轨迹中识别出六类互补过程信号,并与最终智能体表现系统性相关;具体信号名称、定义与计算方式在摘要/元数据中未给出,待核实。
  • 实验覆盖五个智能体基准和五个代表性基线。

主要结果或产业意义

  • 在全部数据集上,DualViewEval 取得最佳结果。
  • 仅使用 20 个任务,在 APEX-Agents 和 BFCL 上实现 (24\times)–(40\times) 压缩。
  • 相比最强竞争者,平均绝对误差(MAE)降低 (14.5%)–(28.2%)。
  • 在 SWE-bench Verified 上,相比 EssenceBench,Kendall's (\tau) 最高提升 (7.2%)。
  • 选出的 miniset 还能揭示不同智能体之间的能力差异,为高效智能体模型开发提供紧凑且具诊断性的反馈。
  • 产业意义:若结果可复现,该方法可能降低智能体评测成本,同时保留对全基准分数和模型排序的预测能力。

为什么重要

智能体评测通常比普通 LLM 评测更昂贵,压缩基准可直接影响研发迭代速度。DualViewEval 的增量在于不只依赖最终分数分布,而是把过程关系纳入压缩与预测,可能更贴近智能体行为特征。与已有相关卡片主题无直接延续或更新关系;本条新增的是“智能体基准压缩/高效评测”方向。

与既有脉络的关系

现有相关卡片分别涉及 MLIP 优化器、组合图像检索和多智能体代码编排,与本条没有直接事实重叠或延续关系。本条可作为 foundation-model 主题下“智能体评测效率与基准压缩”的新增节点。

局限与不确定性

  • 六类过程信号的具体内容、定义、计算方式和跨基准稳定性:待核实。
  • 五个智能体基准的具体名称中,仅 APEX-Agents、BFCL、SWE-bench Verified 在摘要中明确出现;其余基准名称待核实。
  • 五个代表性基线的具体名称、实验配置、智能体模型、任务规模和统计显著性:待核实。
  • 消融实验、复现资源、代码/数据开源情况、作者机构与同行评审状态:待核实。
  • MAE 与 Kendall's (\tau) 的提升是相对特定竞争者和特定基准的结果,向其他基准或真实开发流程的泛化边界待核实。

可用于图书/PPT/简报的角度

  • 从“只看最终结果”转向“结果 + 过程”的智能体评测设计。
  • 基准压缩如何降低智能体评测成本:20 个任务、(24\times)–(40\times) 压缩作为案例。
  • miniset 作为诊断工具:用少量任务揭示不同智能体的能力差异。
  • 双视角关系学习:如何同时建模任务—模型结果关系和过程行为关系。
  • 智能体模型开发中的快速反馈闭环:紧凑评测与全基准分数预测。

原始材料

  • 英文标题:Beyond Outcomes: Dual-View Relational Learning for Efficient Agent Benchmarking
  • arXiv ID:2609.18909v1
  • 作者:Xinshuai Guo, Junjie Wu, Dolly Deng, Yinghui Li, Hai-Tao Zheng, Suncong Zheng, Maxm Pan
  • 发布:2026-09-16T16:49:50Z
  • 更新:2026-09-16T16:49:50Z
  • 主分类:cs.CL
  • 分类:cs.CL, cs.AI
  • 摘要页:https://arxiv.org/abs/2609.18909v1
  • PDF:https://arxiv.org/pdf/2609.18909v1

发现内容有误?

免登录提交,管理员审核并完成修正后才会公开修订说明。

值得关注

智能体评测通常比普通 LLM 评测更昂贵,压缩基准可直接影响研发迭代速度。DualViewEval 的增量在于不只依赖最终分数分布,而是把过程关系纳入压缩与预测,可能更贴近智能体行为特征。与已有相关卡片主题无直接延续或更新关系;本条新增的是“智能体基准压缩/高效评测”方向。

相关主题

对应的教材知识点

教材知识点匹配尚未完成。