AI消息速览

增长 Harness 而非上下文:从无策略脚手架到可复用专家智能体

事件日期 2026-09-22 · 学术前沿 · 已接受

事件日期2026-09-22
信息日期2026-09-22
入库日期2026-09-23
通道学术前沿
状态已接受
来源arXiv 论文

知识卡片:增长 Harness 而非上下文:从无策略脚手架到可复用专家智能体

一句话结论

论文提出 Growing Harness,将 LLM 智能体中重复出现的控制决策从每次任务上下文迁移到由失败反馈增长的可执行 harness 代码,在两项基准和 4B–120B 部署模型上减少 LLM 调用与推理成本,并在多数设置中取得最高平均成功率。

事件概述或研究问题

标准 LLM agent harness 在处理一连串相关任务时,常要求模型在每个任务上下文中重新构造相同控制决策。论文研究:能否利用任务反馈把这种反复出现的控制转化为可复用可执行代码,同时把 LLM 调用保留给任务特定语义推理。Growing Harness 是一个 failure-guided training paradigm,从 strategy-free scaffold 学习 agent harness 本身;该 scaffold 暴露固定模型与工具接口,但不编码任务求解控制器。

方法/产品要点

  • 无策略脚手架(strategy-free scaffold):仅提供固定模型与工具接口,不包含任务求解控制器。
  • 失败引导训练(failure-guided training):function-level execution traces 将失败定位到有界代码面。
  • 联合修复:optimizer 联合修复一个失败窗口。
  • 成功优先的留出门控:success-first held-out gate 回滚会损害既有能力的修复序列。
  • 共享 harness 增长:被接受的编辑累积在同一个共享 harness 中,控制结构从任务反馈中涌现。
  • 对比对象:Tool-Calling agent。

主要结果或产业意义

  • 在 BrowseComp-Plus 与 WebArena-Verified、三个部署模型(4B 到 120B 参数)的六个基准-模型设置中,Growing Harness 在五个设置取得最高平均成功率;第六个设置落后最佳均值 0.7 个百分点。
  • 相对 Tool-Calling agent,LLM 调用减少 76.0–91.8%,部署 agent 推理成本降低 74.4–98.6%。
  • 在 WebArena-Verified 上,Growing Harness 的成功率在不同模型规模间保持 44.7–45.3%;Tool-Calling 在 4B 模型上降至 6.7%。
  • 消融实验显示,trace-local edits、joint repair、gate-based rollback 各自改善最终成功率。
  • 产业意义:摘要称,持久程序增长可把反复控制移出模型上下文并放入低成本代码,形成可复用专家智能体,并让较小部署模型仍保持有效性。实际生产适用性待核实。

为什么重要

标准 harness 把重复控制决策留在模型上下文中,会消耗上下文与推理成本;Growing Harness 将这部分控制固化为共享可执行代码,把 LLM 调用留给任务特定语义推理。这提示 agent 工程除优化模型、提示或工具外,还可把 harness 本身作为可增长程序来训练和修复。与既有卡片“软件形态的第三次重构——从三层架构到存储、模型与智能体”的关系:既有卡片从软件架构层面讨论智能体连接模型与持久状态;本条不重复该架构判断,增量在于提供一个机制与实证线索,说明智能体执行循环中的重复控制可被失败反馈沉淀为共享 harness 代码。两者如何组合、是否可推广到该架构,待核实。

局限与不确定性

  • 仅依据 arXiv 摘要与元数据,未核对论文全文、附录或实验协议。
  • 三个部署模型的具体名称、工具环境、任务分布、评测指标定义、成本计量方式、运行次数与统计显著性均待核实。
  • “deployed-agent inference cost”的单位与计算口径待核实。
  • 除 BrowseComp-Plus 与 WebArena-Verified 外的基准、真实生产环境、多模态或长周期任务泛化能力待核实。
  • 自动修复、成功优先门控与共享 harness 的长期错误累积、安全性和对齐影响待核实。
  • 是否开源、代码与数据可用性、复现细节待核实。

可用于图书/PPT/简报的角度

  • 标题金句:“Grow the harness, not the context”——把重复控制沉淀为代码,而不是每次塞进上下文。
  • 成本叙事:在多数设置保持或接近最高成功率的同时,LLM 调用减少 76.0–91.8%,部署推理成本降低 74.4–98.6%。
  • 小模型韧性:4B 模型在 WebArena-Verified 上从 Tool-Calling 的 6.7% 提升到 Growing Harness 的 44.7–45.3%。
  • 工程机制:执行轨迹定位失败、联合修复、留出门控回滚、共享 harness 累积。
  • 产品方向:从通用 Tool-Calling agent 走向可复用专家智能体;但生产可行性待核实。
  • 架构讨论:可作为一个案例,连接“智能体执行循环”与“持久代码/程序增长”议题;不要与既有软件架构卡片的事实混同。

原始材料

  • 英文标题:Grow the Harness, Not the Context: From Strategy-Free Scaffolds to Reusable Specialist Agents
  • 英文关键词(据标题与摘要提取):LLM agents; agent harness; Growing Harness; failure-guided training paradigm; strategy-free scaffold; reusable specialist agents; BrowseComp-Plus; WebArena-Verified
  • 原始来源:https://arxiv.org/abs/2609.26760v1
  • arXiv ID:2609.26760v1
  • 作者:Laizhen Li, Jiarui Li, Juanjuan Zhao, Kejiang Ye, Ye Li, Cheng-zhong Xu, Xitong Gao
  • 发布/更新:2026-09-22T17:40:45Z
  • 主分类:cs.AI
  • 分类:cs.AI, cs.SE
  • 摘要 URL:https://arxiv.org/abs/2609.26760v1
  • PDF URL:https://arxiv.org/pdf/2609.26760v1

发现内容有误?

免登录提交,管理员审核并完成修正后才会公开修订说明。

值得关注

标准 harness 把重复控制决策留在模型上下文中,会消耗上下文与推理成本;Growing Harness 将这部分控制固化为共享可执行代码,把 LLM 调用留给任务特定语义推理。这提示 agent 工程除优化模型、提示或工具外,还可把 harness 本身作为可增长程序来训练和修复。与既有卡片“软件形态的第三次重构——从三层架构到存储、模型与智能体”的…

相关主题

对应的教材知识点

教材知识点匹配尚未完成。