AI消息速览

FrugalEvo:面向成本感知的 LLM 引导程序演化

事件日期 2026-10-02 · 学术前沿 · 已接受

事件日期2026-10-02
信息日期2026-10-02
入库日期2026-10-05
通道学术前沿
状态已接受
来源arXiv 论文

知识卡片:FrugalEvo:面向成本感知的 LLM 引导程序演化

一句话结论:FrugalEvo 提出一种成本感知的 LLM 引导程序演化框架,用较强但较贵的 LLM 探索策略、用较便宜的 LLM 实现并迭代精炼代码,同时通过缓存高效演化流程提升前缀复用;材料称其在多个优化任务上匹配或超过现有基线,并在圆堆积任务上以远低于多智能体基线的成本达到新 SOTA。

事件概述或研究问题

  • 来源材料指出,LLM 引导的演化方法(如 AlphaEvolve)已用于圆堆积等困难计算优化问题。
  • 但既有工作通常优化“固定迭代次数下的性能增益”。
  • 作者主张,实际优化应最大化“单位成本带来的增益”。
  • 为此提出 FrugalEvo:一个成本感知的演化框架。
  • 同时提出 Budget-Aware Area Under the Curve(BA-AUC)指标,用于衡量固定成本预算内的解质量变化。

方法/产品要点

  • 成本感知演化框架:较强的、较高成本的 LLM 负责探索解策略;较便宜的 LLM 负责实现这些策略,并迭代精炼生成的代码。
  • 缓存高效演化过程:通过 harness 和 prompt 设计,最大化不同演化步骤之间的前缀共享,以提高缓存复用。
  • BA-AUC 指标:定义为在累计 LLM 成本上、直至预算上限的“当前最优评估分数曲线”下方面积。
  • 对比基线:包括 OpenEvolve、ShinkaEvolve、AdaEvolve、EvoX;在圆堆积任务中还与多智能体方法 CORAL、SwarmResearch 对比。

主要结果或产业意义

  • 在 10 个数学与系统优化任务中,FrugalEvo 在最终解质量上匹配或超过 SOTA 基线。
  • 在同一批 10 个任务中,FrugalEvo 在 9 个任务上取得更高 BA-AUC。
  • 在来自 ALE-Bench-Lite 的 10 个算法优化任务上,FrugalEvo 的平均性能高于上述基线。
  • 在圆堆积任务上,材料称:
    • 使用 GPT-5.6 Terra 和 Luna 时,以 1.68 美元达到新 SOTA。
    • 使用 GLM-5.3 及其 Flash 变体时,以 0.55 美元达到新 SOTA。
    • 结果匹配或超过所有基线,包括平均成本约 50 美元的多智能体方法 CORAL 和 SwarmResearch。
  • 产业意义:把优化目标从“固定迭代性能”转向“固定预算下的成本效率”,并强调强弱模型分工与缓存复用,对 LLM 自动算法发现、程序演化和预算受限代理系统有参考价值。

为什么重要

  • 它把 LLM 引导程序演化从“迭代次数导向”推进到“成本感知导向”,更贴近实际部署中的预算约束。
  • BA-AUC 为“固定花费下能多快变好”提供了可讨论的度量方式。
  • 强弱模型分工、缓存感知 harness 设计,可能对降低 LLM 代理系统的推理成本有直接启发。
  • 与已有相关卡片(如 FreqDepthKV、BioASQ 14b、ergoCub)无直接事实重复;本条增量主题是 LLM 引导程序演化中的成本感知与 BA-AUC 评价。

局限与不确定性

  • 来源材料未给出完整实验设置、任务列表、评分函数、预算定义、运行次数、方差和统计显著性,待核实。
  • BA-AUC 的具体归一化方式、跨任务可比性及可迁移性,待核实。
  • 材料提到的模型名称与版本(GPT-5.6 Terra/Luna、GLM-5.3/Flash)来自摘要,具体 API、价格、可用性与计费口径待核实。
  • 圆堆积以外任务的绝对性能、成本节省幅度和失败案例未在材料中说明,待核实。
  • 与基线比较是否在同等预算、同等评估器和同等运行条件下进行,待核实。
  • 是否经过同行评审、代码与数据是否开源、复现难度如何,待核实。
  • 安全性、伦理影响和环境影响未在材料中涉及。

可用于图书/PPT/简报的角度

  • “从固定迭代到固定预算:LLM 程序演化的成本效率转向”
  • “强弱模型分工:强模型探索,廉价模型实现与精炼”
  • “缓存感知的演化 harness 与 prompt 设计”
  • “BA-AUC:预算约束下的优化曲线指标”
  • “圆堆积案例:0.55/1.68 美元 vs 约 50 美元多智能体成本”
  • “LLM 自动算法发现、程序演化与 AutoML 的成本维度”

原始材料

  • 英文标题:FrugalEvo: Towards Cost-Aware LLM-Guided Program Evolution
  • 英文关键词:来源材料未列出;依据标题与摘要可提取的候选为:LLM-Guided Program Evolution, Cost-Aware Optimization, Evolutionary Computation, Budget-Aware Area Under the Curve (BA-AUC), Cache-Efficient Evolution, Circle Packing(待核实)
  • 作者:Hui Chen, Xuan Qi, James Xu Zhao, Zhaopeng Feng, Shilong Liu, Kuang Xu, Pang Wei Koh, Bryan Hooi
  • arXiv ID:2610.03675v1
  • Published / Updated:2026-10-02T17:44:05Z
  • Primary category:cs.NE
  • Categories:cs.NE, cs.AI, cs.CL
  • Abstract URL:https://arxiv.org/abs/2610.03675v1
  • PDF URL:https://arxiv.org/pdf/2610.03675v1

发现内容有误?

免登录提交,管理员审核并完成修正后才会公开修订说明。

值得关注

它把 LLM 引导程序演化从“迭代次数导向”推进到“成本感知导向”,更贴近实际部署中的预算约束。 BA-AUC 为“固定花费下能多快变好”提供了可讨论的度量方式。 强弱模型分工、缓存感知 harness 设计,可能对降低 LLM 代理系统的推理成本有直接启发。 与已有相关卡片(如 FreqDepthKV、BioASQ 14b、ergoCub)无直接事实重复…

相关主题

对应的教材知识点

教材知识点匹配尚未完成。