知识卡片：成本感知的停止准则——Freeze-Thaw 贝叶斯优化中的一步前瞻何时足够？

一句话结论

在 Freeze-Thaw 贝叶斯优化中，采用“期望改进（EI）超过单次增量成本才继续”的一步前瞻停止规则，在期望效用上不会劣于立即停止，但在低成本下可能过早停止；其实际表现高度依赖代理模型（surrogate），需通过两步前瞻的下界证书进行纠偏。以上结论基于论文摘要，正文细节待核实。

事件概述或研究问题

Freeze-Thaw 贝叶斯优化（BO）允许对候选点以可恢复的增量方式逐步评估，而非一次性跑完。传统做法通常在固定预算或收敛检验处停止。本文研究的问题是：能否定义一个无预算约束的效用（最佳观测分数减去每次增量的成本），并用一步前瞻规则决定何时停止？该规则何时足够，何时会过早停止？

方法/产品要点

• 效用设定：无预算约束，效用 = 当前最佳观测分数 − 累计增量成本。
• EI 停止规则（一步前瞻）：在固定代理模型下，选择期望改进（EI）最大的候选点推进；当没有任何候选的 EI 超过单次增量成本时停止。
• 纠偏证书：构造两步前瞻价值的下界（certificate），用于证明某次 EI 停止属于过早停止；重复该纠偏在代理模型下不会降低期望效用。
• 评测：在三个超参数优化基准上进行预注册检验，并与两种已发表方法的代理模型对比。

主要结果或产业意义

• EI 停止在期望效用上从不低于立即停止，但可能过早停止。
• 在代理模型下，低成本时 EI 停止平均而言是过早的；高成本时损失很小。
• 预注册检验显示：多数高成本设置中，EI 停止不劣于纠偏方法；三个基准中有两个在低成本下纠偏带来增益。
• 代理模型中更多的信息共享会提升 EI 停止的效用。
• 在两种已发表方法的代理模型上，EI 停止以更低的分数换取更少的训练增量。
• 产业意义：为增量式/可恢复评估（如大模型微调、超参搜索）提供一个简单、成本感知的停止参考基线，但其有效性取决于代理模型质量。

为什么重要

增量评估在实际系统中成本高昂且可中断，停止时机直接决定算力开销。本文将“何时停止”形式化为无预算效用最大化问题，并给出可证明的纠偏下界，把工程直觉（EI 超过成本就继续）纳入可分析框架。与已有卡片“知道何时停止：面向 LLM 评估的贝叶斯最优停止方法”相比，本条聚焦的是 Freeze-Thaw BO 中增量成本驱动的停止，而非评估精度驱动的停止，属于不同问题设定下的互补结论（增量信息：成本感知 + 一步/两步前瞻的可证明性）。

局限与不确定性

• 未能抓取正文，以下均待核实：具体基准名称、代理模型类型、预注册检验的统计细节、证书的数学形式与假设条件。
• 结论明确依赖于“固定代理模型”假设，代理模型失配时的行为待核实。
• “低成本/高成本”的阈值定义与实验设置待核实。
• 与两种已发表方法对比的具体方法名称待核实。

可用于图书/PPT/简报的角度

• “什么时候该继续训练/评估，什么时候该停”：一步前瞻的直觉与它的盲区。
• 成本感知停止规则作为基线：简单规则 + 可证明纠偏的工程范式。
• 代理模型质量决定停止规则效用：信息共享的价值。
• 与 LLM 评估停止策略的对照：精度驱动 vs 成本驱动。

原始材料

• 标题：Cost-Aware Stopping for Freeze-Thaw Bayesian Optimization: When Does One-Step Lookahead Suffice?
• 来源：arXiv
• URL：https://arxiv.org/abs/2610.42085v1
• Track：academic；Topics：foundation-model
• 说明：正文未能抓取，本卡片仅基于元数据与摘要信息，标注“待核实”处需查证原文。