知识卡片：HarnessLens——行为感知验证的高效智能体框架演化
一句话结论
HarnessLens 提出一种预算感知的自动化智能体框架（harness）演化方法，通过行为相关的选择性验证，在三个智能体框架和四个基准上使平均留出性能提升 7.6%–13.6%，同时显著减少评估预算消耗。
事件概述或研究问题
智能体框架决定了语言模型智能体如何使用指令、工具和运行时组件，但调整这些框架通常需要昂贵的验证。现有“提出再验证”（propose-and-verify）方法往往在固定任务集上对每个候选方案进行评分，既把 rollout 浪费在与目标行为无关的任务上，又可能因聚合分数掩盖特定能力回退。HarnessLens 针对这一问题，提出在有限交互预算下更可靠、更节省样本的框架演化方式。
方法/产品要点
- 预算感知框架，面向自动化智能体框架演化。
- 联合探索任务空间和用户可配置组件。
- 从执行轨迹中推导候选修改。
- 使用“可归因证据门”（attributable-evidence gate），仅在与行为相关的任务上选择性验证候选方案。
- 代码已声明开源：https://github.com/jhxu5214/HarnessLens
主要结果或产业意义
- 在三个智能体框架和四个基准上，平均留出性能提升 7.6%–13.6%。
- 相比竞争基线，评估预算消耗显著更低。
- 该结果表明，带有显式归因的行为感知验证，能够在受限交互预算下实现更可靠且样本高效的智能体框架演化，对语言模型智能体的自动化调优与评测流程设计具有参考价值。
为什么重要
已有相关卡片分别涉及身份文档动态全息行为验证、人形机器人人机协作、MoE 模型服务量化；本卡片的增量信息在于：它聚焦语言模型智能体的“框架（harness）”自动化演化，提出按行为相关性分配验证预算的思路，而不是对所有候选在固定任务集上无差别验证。这是对“如何省钱地验证智能体修改”这一具体问题的直接回应。
局限与不确定性
- 材料未说明具体涉及的三个智能体框架、四个基准的名称和任务领域。
- 材料未给出“显著更少”评估预算的具体量化幅度。
- 材料未说明与哪些竞争基线进行比较，也未提供消融或失败案例。
- 代码链接是否可直接复现、许可证和依赖情况：待核实。
- 留出性能提升的置信区间、统计显著性等细节：待核实。
可用于图书/PPT/简报的角度
- “不要验证所有东西，只验证与改动相关的行为”：HarnessLens 的选择性验证思路可作为智能体评测工程中的省钱策略示例。
- 从“全量评估”到“归因驱动的按需评估”：展示如何用可归因证据来降低智能体框架演化的验证成本。
- 作为大语言模型智能体自动化开发流程中的一个前沿案例。
英文标题
Verify Smarter, Evolve Further: Efficient Harness Evolution through Behavior-Aware Verification
英文关键词
Agent harness; Behavior-aware verification; Harness evolution; Budget-aware framework; Language-model agents
原始材料
- 来源：arXiv:2608.27311v1 [cs.AI]
- URL：https://arxiv.org/abs/2608.27311v1
- 标题：Verify Smarter, Evolve Further: Efficient Harness Evolution through Behavior-Aware Verification
- 作者：Jinghan Xu, Yikai Zhang, Aili Chen, Weiyuan Li, Jiaqing Liang, Deqing Yang
- 发布时间：2026-08-27T16:12:23Z
- 摘要原文：Agent harnesses shape how language-model agents use instructions, tools, and runtime components, but adapting these harnesses requires costly verification. Existing propose-and-verify methods typically score every candidate on a fixed task set, wasting rollouts on unrelated behaviors and allowing aggregate scores to obscure specific regressions. We introduce HarnessLens, a budget-aware framework for automated harness evolution. HarnessLens jointly explores the task space and user-configurable components, derives candidate modifications from execution trajectories, and selectively verifies each candidate on behavior-relevant tasks using an attributable-evidence gate. Across three agent harnesses and four benchmarks, HarnessLens improves average held-out performance by 7.6-13.6% while consuming substantially less evaluation budget than competing baselines. These results demonstrate that behavior-aware verification with explicit attribution enables more reliable and sample-efficient harness evolution under constrained interaction budgets. Our code is available at https://github.com/jhxu5214/HarnessLens.