AI消息速览

AutoCompact:面向长程编码智能体的上下文压缩时机学习

事件日期 2026-10-01 · 学术前沿 · 已接受

事件日期2026-10-01
信息日期2026-10-01
入库日期2026-10-03
通道学术前沿
状态已接受
来源arXiv 论文

知识卡片:AutoCompact:面向长程编码智能体的上下文压缩时机学习

一句话结论

AutoCompact 将“何时压缩上下文、保留什么工作状态、压缩后如何继续”纳入编码智能体的策略训练,并在 SWE-bench Verified 与 SWE-PolyBench Verified 上分别比 base model 绝对提升 9.2% 和 5.0% 的通过率。

事件概述或研究问题

仓库级软件工程任务通常需要编码智能体进行长时间的代码检查、搜索、编辑和测试。随着任务推进,早期探索信息会变得过时,因此上下文管理不只是避免溢出,还要求智能体决定何时压缩、保留哪些工作状态、以及如何从压缩后的状态继续执行。AutoCompact 研究的是:能否训练编码智能体把这些压缩决策作为自身策略的一部分。

方法/产品要点

  • AutoCompact 训练编码智能体在策略中做出上下文压缩相关决策。
  • 训练数据收集方式:先让 base agent 在编码任务上运行,再用 judge 审查其压缩决策、摘要以及压缩后的动作。
  • 有缺陷的输出会在环境中执行前被替换为纠正版本,使每条轨迹从纠正后的决策继续。
  • 使用这些轨迹进行 supervised fine-tuning,然后通过 reinforcement learning 与 task-success rewards 联合优化编码和压缩。
  • 材料提到在 256K 上下文窗口下从未溢出;在 16K 窗口下,溢出会触发 fallback compaction。

主要结果或产业意义

  • 在 SWE-bench Verified 上,AutoCompact 相对 base model 的通过率绝对提升 9.2%。
  • 在 SWE-PolyBench Verified 上,绝对提升 5.0%。
  • 材料称这些改进在所有已评估的推理预算下都成立。
  • 若结果可复现,对需要长程代码检索、编辑与测试的智能体系统有直接意义:上下文预算和状态管理通常是长程任务的关键工程瓶颈。

为什么重要

与已有相关卡片中的 CompactionRL 等方向相比,本条不重复其部署细节;增量信息在于:AutoCompact 明确把 compaction 的“时机、保留状态、续接方式”作为策略学习目标,并用 judge 纠错后的轨迹做 SFT,再用任务成功奖励做 RL。它把上下文压缩从外部预处理或固定策略,推进为编码智能体可训练行为的一部分。同时,在 256K 与 16K 窗口、不同推理预算下的表现,说明该方法关注的是长程任务中的稳定性,而不只是单一长度设置下的分数。

局限与不确定性

  • 当前材料为 arXiv 摘要与元数据,模型基座、参数规模、训练数据规模、任务数量、SFT/RL 超参数等细节待核实。
  • judge 的模型、评审标准、纠错流程如何保证正确性、是否引入偏差,待核实。
  • reinforcement learning 的具体算法、奖励构成、是否包含长度惩罚或其他约束,待核实。
  • 是否开源代码、数据、权重,以及复现成本,待核实。
  • 除 SWE-bench Verified 和 SWE-PolyBench Verified 外,对其他仓库级任务、非编码任务、多语言、多轮工具使用的泛化能力,待核实。
  • 256K 与 16K 实验的具体设置、fallback compaction 触发阈值、推理成本和延迟影响,待核实。
  • 安全、隐私与生产部署影响,待核实。

可用于图书/PPT/简报的角度

  • 把上下文管理从“截断/摘要”升级为可学习策略:何时压缩、保留什么、如何续接。
  • 数据合成与纠错:用 judge 审查压缩决策,并在执行前替换为纠正版本,让轨迹从纠正决策继续。
  • 两阶段训练范式:supervised fine-tuning 加 reinforcement learning,以任务成功奖励联合优化编码与压缩。
  • 工程鲁棒性:不同推理预算与上下文窗口下的表现,256K 不溢出,16K 触发 fallback compaction。
  • 与 CompactionRL 的脉络关系:从“从压缩历史中学习”延伸到“把压缩决策本身纳入策略”。

原始材料

  • 英文标题:AutoCompact: Learning When to Compact Context in Long-Horizon Coding Agents
  • 作者:Xuan Zhang, Longtao Zheng, Cunxiao Du, Bo An, Xin Dong
  • arXiv ID:2610.02163v1
  • 发布/更新:2026-10-01T17:54:34Z
  • 分类:Primary category cs.CL;Categories cs.CL
  • 英文关键词:long-horizon coding agents; context compaction; reinforcement learning; supervised fine-tuning; SWE-bench Verified; SWE-PolyBench Verified; fallback compaction
  • Abstract URL:https://arxiv.org/abs/2610.02163v1
  • PDF URL:https://arxiv.org/pdf/2610.02163v1

发现内容有误?

免登录提交,管理员审核并完成修正后才会公开修订说明。

值得关注

与已有相关卡片中的 CompactionRL 等方向相比,本条不重复其部署细节;增量信息在于:AutoCompact 明确把 compaction 的“时机、保留状态、续接方式”作为策略学习目标,并用 judge 纠错后的轨迹做 SFT,再用任务成功奖励做 RL。它把上下文压缩从外部预处理或固定策略,推进为编码智能体可训练行为的一部分。同时,在 256K…

相关主题

对应的教材知识点

教材知识点匹配尚未完成。