知识卡片:FrugalEvo:面向成本感知的 LLM 引导程序演化
一句话结论:FrugalEvo 提出一种成本感知的 LLM 引导程序演化框架,用较强但较贵的 LLM 探索策略、用较便宜的 LLM 实现并迭代精炼代码,同时通过缓存高效演化流程提升前缀复用;材料称其在多个优化任务上匹配或超过现有基线,并在圆堆积任务上以远低于多智能体基线的成本达到新 SOTA。
事件概述或研究问题
- 来源材料指出,LLM 引导的演化方法(如 AlphaEvolve)已用于圆堆积等困难计算优化问题。
- 但既有工作通常优化“固定迭代次数下的性能增益”。
- 作者主张,实际优化应最大化“单位成本带来的增益”。
- 为此提出 FrugalEvo:一个成本感知的演化框架。
- 同时提出 Budget-Aware Area Under the Curve(BA-AUC)指标,用于衡量固定成本预算内的解质量变化。
方法/产品要点
- 成本感知演化框架:较强的、较高成本的 LLM 负责探索解策略;较便宜的 LLM 负责实现这些策略,并迭代精炼生成的代码。
- 缓存高效演化过程:通过 harness 和 prompt 设计,最大化不同演化步骤之间的前缀共享,以提高缓存复用。
- BA-AUC 指标:定义为在累计 LLM 成本上、直至预算上限的“当前最优评估分数曲线”下方面积。
- 对比基线:包括 OpenEvolve、ShinkaEvolve、AdaEvolve、EvoX;在圆堆积任务中还与多智能体方法 CORAL、SwarmResearch 对比。
主要结果或产业意义
- 在 10 个数学与系统优化任务中,FrugalEvo 在最终解质量上匹配或超过 SOTA 基线。
- 在同一批 10 个任务中,FrugalEvo 在 9 个任务上取得更高 BA-AUC。
- 在来自 ALE-Bench-Lite 的 10 个算法优化任务上,FrugalEvo 的平均性能高于上述基线。
- 在圆堆积任务上,材料称:
- 使用 GPT-5.6 Terra 和 Luna 时,以 1.68 美元达到新 SOTA。
- 使用 GLM-5.3 及其 Flash 变体时,以 0.55 美元达到新 SOTA。
- 结果匹配或超过所有基线,包括平均成本约 50 美元的多智能体方法 CORAL 和 SwarmResearch。
- 产业意义:把优化目标从“固定迭代性能”转向“固定预算下的成本效率”,并强调强弱模型分工与缓存复用,对 LLM 自动算法发现、程序演化和预算受限代理系统有参考价值。
为什么重要
- 它把 LLM 引导程序演化从“迭代次数导向”推进到“成本感知导向”,更贴近实际部署中的预算约束。
- BA-AUC 为“固定花费下能多快变好”提供了可讨论的度量方式。
- 强弱模型分工、缓存感知 harness 设计,可能对降低 LLM 代理系统的推理成本有直接启发。
- 与已有相关卡片(如 FreqDepthKV、BioASQ 14b、ergoCub)无直接事实重复;本条增量主题是 LLM 引导程序演化中的成本感知与 BA-AUC 评价。
局限与不确定性
- 来源材料未给出完整实验设置、任务列表、评分函数、预算定义、运行次数、方差和统计显著性,待核实。
- BA-AUC 的具体归一化方式、跨任务可比性及可迁移性,待核实。
- 材料提到的模型名称与版本(GPT-5.6 Terra/Luna、GLM-5.3/Flash)来自摘要,具体 API、价格、可用性与计费口径待核实。
- 圆堆积以外任务的绝对性能、成本节省幅度和失败案例未在材料中说明,待核实。
- 与基线比较是否在同等预算、同等评估器和同等运行条件下进行,待核实。
- 是否经过同行评审、代码与数据是否开源、复现难度如何,待核实。
- 安全性、伦理影响和环境影响未在材料中涉及。
可用于图书/PPT/简报的角度
- “从固定迭代到固定预算:LLM 程序演化的成本效率转向”
- “强弱模型分工:强模型探索,廉价模型实现与精炼”
- “缓存感知的演化 harness 与 prompt 设计”
- “BA-AUC:预算约束下的优化曲线指标”
- “圆堆积案例:0.55/1.68 美元 vs 约 50 美元多智能体成本”
- “LLM 自动算法发现、程序演化与 AutoML 的成本维度”
原始材料
- 英文标题:FrugalEvo: Towards Cost-Aware LLM-Guided Program Evolution
- 英文关键词:来源材料未列出;依据标题与摘要可提取的候选为:LLM-Guided Program Evolution, Cost-Aware Optimization, Evolutionary Computation, Budget-Aware Area Under the Curve (BA-AUC), Cache-Efficient Evolution, Circle Packing(待核实)
- 作者:Hui Chen, Xuan Qi, James Xu Zhao, Zhaopeng Feng, Shilong Liu, Kuang Xu, Pang Wei Koh, Bryan Hooi
- arXiv ID:2610.03675v1
- Published / Updated:2026-10-02T17:44:05Z
- Primary category:cs.NE
- Categories:cs.NE, cs.AI, cs.CL
- Abstract URL:https://arxiv.org/abs/2610.03675v1
- PDF URL:https://arxiv.org/pdf/2610.03675v1
发现内容有误?
免登录提交,管理员审核并完成修正后才会公开修订说明。
值得关注
它把 LLM 引导程序演化从“迭代次数导向”推进到“成本感知导向”,更贴近实际部署中的预算约束。 BA-AUC 为“固定花费下能多快变好”提供了可讨论的度量方式。 强弱模型分工、缓存感知 harness 设计,可能对降低 LLM 代理系统的推理成本有直接启发。 与已有相关卡片(如 FreqDepthKV、BioASQ 14b、ergoCub)无直接事实重复…
相关主题
对应的教材知识点
教材知识点匹配尚未完成。