知识卡片:AutoCompact:面向长程编码智能体的上下文压缩时机学习
一句话结论
AutoCompact 将“何时压缩上下文、保留什么工作状态、压缩后如何继续”纳入编码智能体的策略训练,并在 SWE-bench Verified 与 SWE-PolyBench Verified 上分别比 base model 绝对提升 9.2% 和 5.0% 的通过率。
事件概述或研究问题
仓库级软件工程任务通常需要编码智能体进行长时间的代码检查、搜索、编辑和测试。随着任务推进,早期探索信息会变得过时,因此上下文管理不只是避免溢出,还要求智能体决定何时压缩、保留哪些工作状态、以及如何从压缩后的状态继续执行。AutoCompact 研究的是:能否训练编码智能体把这些压缩决策作为自身策略的一部分。
方法/产品要点
- AutoCompact 训练编码智能体在策略中做出上下文压缩相关决策。
- 训练数据收集方式:先让 base agent 在编码任务上运行,再用 judge 审查其压缩决策、摘要以及压缩后的动作。
- 有缺陷的输出会在环境中执行前被替换为纠正版本,使每条轨迹从纠正后的决策继续。
- 使用这些轨迹进行 supervised fine-tuning,然后通过 reinforcement learning 与 task-success rewards 联合优化编码和压缩。
- 材料提到在 256K 上下文窗口下从未溢出;在 16K 窗口下,溢出会触发 fallback compaction。
主要结果或产业意义
- 在 SWE-bench Verified 上,AutoCompact 相对 base model 的通过率绝对提升 9.2%。
- 在 SWE-PolyBench Verified 上,绝对提升 5.0%。
- 材料称这些改进在所有已评估的推理预算下都成立。
- 若结果可复现,对需要长程代码检索、编辑与测试的智能体系统有直接意义:上下文预算和状态管理通常是长程任务的关键工程瓶颈。
为什么重要
与已有相关卡片中的 CompactionRL 等方向相比,本条不重复其部署细节;增量信息在于:AutoCompact 明确把 compaction 的“时机、保留状态、续接方式”作为策略学习目标,并用 judge 纠错后的轨迹做 SFT,再用任务成功奖励做 RL。它把上下文压缩从外部预处理或固定策略,推进为编码智能体可训练行为的一部分。同时,在 256K 与 16K 窗口、不同推理预算下的表现,说明该方法关注的是长程任务中的稳定性,而不只是单一长度设置下的分数。
局限与不确定性
- 当前材料为 arXiv 摘要与元数据,模型基座、参数规模、训练数据规模、任务数量、SFT/RL 超参数等细节待核实。
- judge 的模型、评审标准、纠错流程如何保证正确性、是否引入偏差,待核实。
- reinforcement learning 的具体算法、奖励构成、是否包含长度惩罚或其他约束,待核实。
- 是否开源代码、数据、权重,以及复现成本,待核实。
- 除 SWE-bench Verified 和 SWE-PolyBench Verified 外,对其他仓库级任务、非编码任务、多语言、多轮工具使用的泛化能力,待核实。
- 256K 与 16K 实验的具体设置、fallback compaction 触发阈值、推理成本和延迟影响,待核实。
- 安全、隐私与生产部署影响,待核实。
可用于图书/PPT/简报的角度
- 把上下文管理从“截断/摘要”升级为可学习策略:何时压缩、保留什么、如何续接。
- 数据合成与纠错:用 judge 审查压缩决策,并在执行前替换为纠正版本,让轨迹从纠正决策继续。
- 两阶段训练范式:supervised fine-tuning 加 reinforcement learning,以任务成功奖励联合优化编码与压缩。
- 工程鲁棒性:不同推理预算与上下文窗口下的表现,256K 不溢出,16K 触发 fallback compaction。
- 与 CompactionRL 的脉络关系:从“从压缩历史中学习”延伸到“把压缩决策本身纳入策略”。
原始材料
- 英文标题:AutoCompact: Learning When to Compact Context in Long-Horizon Coding Agents
- 作者:Xuan Zhang, Longtao Zheng, Cunxiao Du, Bo An, Xin Dong
- arXiv ID:2610.02163v1
- 发布/更新:2026-10-01T17:54:34Z
- 分类:Primary category cs.CL;Categories cs.CL
- 英文关键词:long-horizon coding agents; context compaction; reinforcement learning; supervised fine-tuning; SWE-bench Verified; SWE-PolyBench Verified; fallback compaction
- Abstract URL:https://arxiv.org/abs/2610.02163v1
- PDF URL:https://arxiv.org/pdf/2610.02163v1
发现内容有误?
免登录提交,管理员审核并完成修正后才会公开修订说明。
值得关注
与已有相关卡片中的 CompactionRL 等方向相比,本条不重复其部署细节;增量信息在于:AutoCompact 明确把 compaction 的“时机、保留状态、续接方式”作为策略学习目标,并用 judge 纠错后的轨迹做 SFT,再用任务成功奖励做 RL。它把上下文压缩从外部预处理或固定策略,推进为编码智能体可训练行为的一部分。同时,在 256K…
相关主题
对应的教材知识点
教材知识点匹配尚未完成。