知识卡片：CompressionBench——编码智能体能否自主压缩大语言模型？

一句话结论

CompressionBench 将“在存储预算内保留预训练模型行为”设为端到端终端任务，检验编码智能体能否自主完成 LLM 压缩；在 6 个智能体 × 6 个模型—规模设置共 36 次提交中，29 次通过独立验证，最优设计平均困惑度仅比 BF16 高 3.4%，下游准确率 77.33%（BF16 为 79.56%）。

事件概述或研究问题

• 研究动机：递归自我改进要求 AI 系统改进后续系统所用的模型与基础设施；LLM 压缩提供了一个可测量的效率目标。
• 核心问题：编码智能体能否在没有人工介入的情况下，自主完成“给定源 checkpoint、存储上限、推理环境和时间预算，产出压缩权重与可执行推理代码”的压缩任务。
• 任务形式化：压缩被定义为终端任务（terminal task），智能体自行控制算法选择与实验过程，以困惑度（PPL）反馈引导搜索，最终模型由独立验证检查。

方法/产品要点

• 评测设置：6 个编码智能体，6 个模型—规模设置，共 36 份提交。
• 智能体自主权：可自由选择压缩算法、设计实验；PPL 反馈作为搜索信号。
• 双重检验：独立验证检查最终模型；除似然指标外，还引入生成与推理测试。
• 过程记录：实验日志被保留，用于分析智能体如何取得结果、在何处失效。

主要结果或产业意义

• 通过率：36 份提交中 29 份通过验证。
• 性能：按任务选取 PPL 最低的智能体设计，平均 PPL 较 BF16 上升 3.4%；下游准确率 77.33%，BF16 为 79.56%。
• 修订行为：在存储几乎不变的 24 次修订中，智能体有 21 次降低了 PPL。
• 反馈粒度的影响：引入完整模型反馈后，此前 79 项局部排名中有 17 项被逆转。
• 验证缺口：生成与推理测试暴露出仅靠似然指标无法发现的失败。
• 关键能力归因：表征设计、实验判断与能力验证是智能体驱动模型压缩的三个核心环节。

为什么重要

• 把“AI 改进 AI”从抽象口号落到可测量的效率任务上：压缩有明确的存储预算与行为保持目标，便于量化评估智能体的自主工程能力。
• 与既有编码智能体基准（如关注长周期仓库级迁移的 SWE Refactor Bench）形成对照：本条关注的是智能体在模型压缩这类数值—工程混合任务上的端到端闭环能力，而非代码修复或迁移。
• 提示评测设计需超越单一似然指标：完整模型反馈会改变局部排序，生成/推理测试能揭示似然指标遗漏的失败模式。

局限与不确定性

• 摘要未披露具体的 6 个智能体身份、6 个模型—规模设置细节及存储预算数值，待核实。
• “通过验证”的具体判定标准与验证流程细节，待核实。
• 3.4% PPL 上升与 77.33% 下游准确率的统计口径（如任务集合、评测数据集）待核实。
• 时间预算的具体设定及其对结果的影响，待核实。

可用于图书/PPT/简报的角度

• “智能体能否改模型”：从改代码到改权重的能力边界拓展。
• 效率导向的自我改进：压缩作为递归自我改进的可测量组件。
• 评测方法论：似然指标之外的生成与推理验证为何必要；完整模型反馈如何改变局部排名。
• 智能体自主实验的失效分析：表征设计、实验判断、能力验证三处瓶颈。

与既有脉络的关系

• 与 SWE Refactor Bench 同属“编码智能体端到端自主完成长周期工程任务”的评测脉络，但任务对象从代码仓库迁移转为模型权重压缩，增量在于把评测目标转向效率约束下的行为保持。
• 与 Grid-Bench 等可执行基准共享“以可执行验证替代单一指标”的思路，本条进一步指出似然指标单独使用会遗漏失败。

原始材料

• 标题：CompressionBench: How can your coding agents compress LLMs?
• arXiv ID：2611.06858v1
• 作者：Xinrui Zhong, Zhifeng Li, Zhiming Wang, Yongqi Liu, Shanglin Yang, Yang Zhou, Zikun Li, Zhuoming Chen, Beidi Chen
• 发布：2026-11-04T18:14:50Z
• 主分类：cs.AI
• 摘要页：https://arxiv.org/abs/2611.06858v1
• PDF：https://arxiv.org/pdf/2611.06858v1