知识卡片:Harness-Zero——通过 Agent-as-Harness 实现 Harness 蒸馏
一句话结论
Harness-Zero 提出一种“harness 蒸馏”方法:训练时用领域或实例优化的 harness 指导 agent-as-harness 纠正学生响应,把外部 harness 诱导的行为内化到模型权重中,使部署时移除专用 harness 后仍能保留甚至超过其任务收益。
事件概述或研究问题
- 智能体 harness 是调和模型与环境交互的外部系统,可显著提升 agent 表现,但其收益通常绑定在部署时的 harness 上。
- 最佳 harness 会随领域、实例和模型变化;通用 agent 要么使用次优的共享 harness,要么在越来越多专用 harness 之间路由。
- 论文研究“agent harness distillation”:把领域或实例优化的 harness 作为训练时指导,将其诱导的行为转移到模型权重中,使收益在单一固定目标 harness 下继续存在。
- 核心挑战:优化 harness 与目标 harness 的动作空间和可用信息不同,前者的指导不能直接作为后者的监督。
方法/产品要点
- 提出 Harness-Zero,通过 “agent-as-harness” 实现 harness 蒸馏。
- 在优化 harness 的引导下,一个 harnessing agent 在目标 harness 的动作空间中、执行前纠正学生响应,从而把 harness 指导转化为训练演示。
- 对由此产生的轨迹进行微调,使 harness 诱导的行为内化到模型权重中;部署时可以移除该专用 harness。
- 材料未给出实现细节、模型规模、训练数据构造和具体算法公式;待核实。
主要结果或产业意义
- 对前沿 LLM 使用同一 evolved harness 时,agent-as-harness 优于 code-as-harness。
- 部署时移除专用 harness,Harness-Zero 将基础模型的宏平均任务成功率从 23.3% 提升到 44.3%,并超过该 harness 仍挂载时的 41.7%。
- Harness-Zero 恢复基础模型中缺失的 harness 诱导行为:在知识工作、工具使用和科学三个领域的 28 种 pattern 上平均恢复 82.3%。
- 产业意义:如果成立,agent 能力的一部分可以从“部署时依赖外部框架”转向“训练时内化”,可能减少对多套专用 harness 的路由和维护需求;但需看具体任务、成本与部署条件。
为什么重要
- 它把“外部 harness 的收益”从部署时绑定问题转化为训练时蒸馏问题,探索模型权重与智能体基础设施之间的边界。
- 与已有卡片中的 Direct-OPD 类似,都涉及策略/行为蒸馏;但 Harness-Zero 的对象是 harness 诱导行为,目标是在固定目标 harness 下存活,而不是弱到强泛化本身。
- 与 GaP、OptiAgent 等多智能体编排/优化框架不同,Harness-Zero 关注用 agent-as-harness 生成纠正演示,并把专用 harness 的收益内化后移除。
- 增量信息:从“更好的外部编排”推进到“把外部编排的收益蒸馏进模型权重”,并报告了移除专用 harness 后的成功率变化。
局限与不确定性
- 以上均来自摘要;论文正文、实验设置、基准列表、模型版本、统计显著性和消融细节未在材料中提供,待核实。
- 未说明 harness 的具体定义、优化方式、目标 harness 选择策略和训练成本;待核实。
- 未说明 23.3%、44.3%、41.7% 和 82.3% 对应的具体任务集、评价协议和方差;待核实。
- 未确认代码、数据或模型是否公开,也未确认是否经过同行评审;待核实。
- 跨领域、跨模型和真实部署场景的泛化能力待核实。
可用于图书/PPT/简报的角度
- “外部框架的收益能否内化到模型权重”:从路由多个 harness 到蒸馏到单一固定 harness。
- “agent-as-harness 作为训练信号”:用外部优化 harness 在目标动作空间中纠正学生轨迹。
- “模型能力与智能体基础设施的边界”:哪些收益属于模型,哪些属于部署时框架。
- “蒸馏的新对象”:从策略蒸馏、代码蒸馏到 harness/行为模式蒸馏。
- “部署简化”:移除专用 harness 后仍保留收益,对降低系统复杂度和路由开销的启示。
与既有脉络的关系
- 与 Direct-OPD:都关注行为/策略转移和蒸馏;Harness-Zero 的增量在于把优化 harness 的指导转化为目标 harness 动作空间中的训练演示,并在部署时移除专用 harness。
- 与 GaP、OptiAgent:后者偏多智能体编排或优化建模框架;Harness-Zero 偏训练时 harness 蒸馏,不重复陈述这些框架的具体机制。
原始材料
- 英文标题:Harness-Zero: Harness Distillation via Agent-as-Harness
- 作者:Haoran Ye, Yuxing Lu, Haonan Dong, Zhaochen Su, Guojie Song
- arXiv ID:2609.24974v1
- 主分类:cs.AI;分类:cs.AI, cs.CL, cs.NE
- 发布/更新:2026-09-21T17:55:20Z
- 摘要 URL:https://arxiv.org/abs/2609.24974v1
- PDF URL:https://arxiv.org/pdf/2609.24974v1
- 英文关键词:agent harnesses; harness distillation; agent-as-harness; fine-tuning; frontier LLMs; knowledge work; tool use; science
发现内容有误?
免登录提交,管理员审核并完成修正后才会公开修订说明。
值得关注
它把“外部 harness 的收益”从部署时绑定问题转化为训练时蒸馏问题,探索模型权重与智能体基础设施之间的边界。 与已有卡片中的 Direct-OPD 类似,都涉及策略/行为蒸馏;但 Harness-Zero 的对象是 harness 诱导行为,目标是在固定目标 harness 下存活,而不是弱到强泛化本身。 与 GaP、OptiAgent 等多智能体编…
相关主题
对应的教材知识点
教材知识点匹配尚未完成。