知识卡片：AgentHPOBench——将LLM智能体作为序贯超参数优化器的评估基准

英文标题：AgentHPOBench: A Benchmark For Evaluating LLM Agents as Sequential Hyperparameter Optimizers

英文关键词：LLM agents; hyperparameter optimization; benchmark; sequential decision-making; scientific experimentation

一句话结论

现有 LLM 智能体在“读实验证据、调下一步超参数”的序贯优化任务上已表现出可测量的实验优化能力，但在持续迭代细化、复杂日志诊断以及稳定逼近参考性能方面仍存在明显不足。

事件概述或研究问题

随着 LLM 从代码补全系统演变为自主科学智能体，如何评估其“做实验”的能力变得越来越重要。已有基准大多关注静态代码生成、论文复现或最终答案正确性，并未直接检验智能体能否解读实验证据，并据此做出后续超参数决策。

为填补这一空白，论文提出 AgentHPOBench：一个包含 30 个可执行机器学习任务、覆盖 7 个研究类别的序贯基准，用于评估 LLM 智能体作为“序贯超参数优化器”的表现。

方法/产品要点

• 基准构成：AgentHPOBench 包含 30 个可执行机器学习任务，横跨 7 个研究类别。
• 任务流程：每个任务首先有一个经过验证的基线运行；随后智能体执行多次序贯干预。
• 决策环境：每一步，智能体观察累积的配置、指标和日志，然后提出下一个有效配置。
• 评估协议：论文在统一协议下评估了 12 种广泛使用的智能体以及常规 HPO 基线。

主要结果或产业意义

• 当前 LLM 智能体在多个领域展现出可测量的实验优化能力。
• 但它们在持续迭代改进、复杂日志诊断、以及朝报告参考性能稳定前进方面仍存在明显局限。
• 潜在意义：AgentHPOBench 为自动机器学习、AI for Science 和自主科研智能体的能力评估提供了一个更贴近“实验决策”的测试场景，可能有助于推动下一代科研助手从“生成代码”走向“自主设计和迭代实验”。

为什么重要

这项工作的核心增量在于：它把评估重点从“最终答案是否正确”转向“智能体是否能使用实验证据来指导下一步行动”。这是 LLM 评估从静态任务走向动态科学探索的重要一步。

与既有脉络的关系

已有相关卡片分别涉及遗忘测试、能源市场可信智能体和真实世界主动智能体。AgentHPOBench 的不重叠之处在于：它聚焦 LLM 智能体在机器学习超参数搜索中的序贯决策能力，强调“观察-解释-再配置”的闭环，而不是单一任务执行或领域可信度问题。

局限与不确定性

• 当前材料仅来自 arXiv 摘要和题录，未包含论文正文和附录。
• 以下内容待核实：30 个任务的具体构成、7 个研究类别的名称、12 种智能体和常规 HPO 基线的具体名单、评估指标、具体性能数值、任务代码是否公开、是否有统计显著性分析。
• 摘要称“可测量”但未给出幅度；也未说明该基准在真实科研场景中的噪声、成本和可迁移性。

可用于图书/PPT/简报的角度

• 叙事角度：“从代码补全到科学智能体”——为什么需要评估 LLM 的“实验动手能力”。
• 流程示意：基线运行 → 观察配置/指标/日志 → 提出下一个配置 → 循环迭代。
• 一句话标题建议：“下一步超参数该调什么？AgentHPOBench 考验 LLM 智能体的实验判断力。”

原始材料

• 标题：AgentHPOBench: A Benchmark For Evaluating LLM Agents as Sequential Hyperparameter Optimizers
• arXiv ID：2607.29626v1
• 作者：Tianyu Huai, Tingshuo Fan, Xinchi Chen, Yining Zheng, Yuxin Wang, Shuang Chen, Jie Zhou, Xuanjing Huang
• 发布/更新：2026-07-31T16:58:00Z
• 主要分类：cs.AI
• URL：https://arxiv.org/abs/2607.29626v1