知识卡片:智能体历史能否预测上下文压缩何时有害?TRACE 配对重放语料上的有限且有界效应
一句话结论
在 TRACE 的 590 个 AppWorld 压缩边界配对重放语料上,压缩前历史只能弱预测压缩后的动作负担;最佳可解释触发器避免 21% 有害边界并保留 84% 压缩机会,但材料尚不支持其在匹配保留率下优于 token 预算规则的结论。
事件概述或研究问题
许多长时程智能体按全局规则压缩上下文,通常是 token 预算,而不看智能体当时在做什么。论文问:智能体近期行为能否预测一次压缩何时会造成伤害?TRACE 公开语料包含 590 个由 harness 触发的 AppWorld 压缩边界;每个边界从重新执行的前缀状态出发,在压缩前上下文和摘要条件下分别重放,并记录下一步动作负担——出错或重复已经发出的调用。
方法/产品要点
- 使用 TRACE 配对重放:同一压缩边界,比较压缩前上下文与摘要下的后续动作负担。
- 伤害/负担定义:后续调用出错,或重复已做过的调用;正负担边界视为有害压缩。
- 检验压缩前历史是否预测压缩后伤害;包含内部预设的按前缀位置对比。
- 触发器评估:最佳 extension-protocol 触发器留出集 AUROC 0.66(复现实验自身标签 0.64),对照同一边界复现为 0.72。
- 最佳冻结、可解释触发器避免 21% 的有害(正负担)边界,同时保留 84% 的压缩机会;在计数上超过随机规则期望,但在负担总量上未超过(事后比较)。
- 在匹配保留率下,最佳触发器能否击败 token 预算规则,无法在该发布版本上评估。
主要结果或产业意义
- 压缩前历史对压缩后伤害只有弱预测力;内部预设对比为宽泛的零结果。
- 朴素的 “has-written” 标签实际测量的是轨迹阶段,而非稳定的压缩伤害信号。
- 最佳可解释触发器显示出一定筛选价值:避免部分有害边界,同时保留多数压缩机会,但这种效应是有限、有界的。
- 对产业实践,材料不支持把“历史感知压缩触发”直接宣传为 token 预算的替代品;它更像是一个需要更强语料和评测设计来验证的方向。
为什么重要
长时程智能体的上下文压缩直接关系成本、延迟与任务成功率;全局 token 预算忽略任务状态,可能在不合适的时机压缩。本文的重要性在于:它用配对重放和动作负担指标把“压缩何时有害”变成可检验问题,但结果提醒该信号目前很弱。作者还指出,要回答“是否优于 token 预算”需要语料额外发布哪些内容。与已有卡片(外骨骼、时序图分布漂移、在线模仿学习)无直接主题延续或更新关系;本条增量是压缩触发预测的有限效应与评测缺口。
局限与不确定性
- 效应有限:最佳 extension-protocol AUROC 0.66 低于同一边界复现的 0.72,在复现标签上为 0.64。
- 预设对比为宽泛零结果;“has-written” 标签与轨迹阶段混淆。
- 随机规则比较是事后比较,且在负担总量上未超过随机期望。
- 无法在发布版本上评估匹配保留率下触发器与 token 预算规则的对比。
- TRACE 语料是否覆盖多模型、多任务、多摘要方法、跨域泛化:待核实。
- 触发器实现细节、阈值、训练/留出划分、统计不确定性:待核实。
- 论文建议语料应发布哪些字段或协议的具体清单:待核实。
- 同行评审状态与预印本状态:待核实。
可用于图书/PPT/简报的角度
- 对比“全局 token 预算”与“行为感知压缩触发”。
- 用配对重放定义压缩伤害:出错或重复调用。
- 弱预测信号与评测陷阱:朴素标签实际测量轨迹阶段。
- AUROC 0.66 vs 0.72:有限、有界效应的可视化案例。
- 21% / 84% 的成本—收益权衡;随机规则在计数与负担总量上的差异。
- 评测缺口:匹配保留率比较、语料应包含的字段与协议。
- 智能体记忆/上下文管理章节的启示:先建立可复现配对评测,再宣称智能压缩。
原始材料
- English title: Does an Agent's History Tell You When Compaction Will Hurt? A Modest, Bounded Effect on the TRACE Paired-Replay Corpus
- English keywords(据材料术语整理): long-horizon agents; context compaction; TRACE; AppWorld; paired replay; token budget; AUROC
- Authors: Egor Pakhomov, Erik Nijkamp
- arXiv ID: 2610.08722v1
- Published: 2026-10-06T17:26:57Z
- Primary category: cs.AI
- Categories: cs.AI, cs.LG
- Abstract URL: https://arxiv.org/abs/2610.08722v1
- PDF URL: https://arxiv.org/pdf/2610.08722v1
- Track / Topics(任务元数据): academic / foundation-model
发现内容有误?
免登录提交,管理员审核并完成修正后才会公开修订说明。
值得关注
长时程智能体的上下文压缩直接关系成本、延迟与任务成功率;全局 token 预算忽略任务状态,可能在不合适的时机压缩。本文的重要性在于:它用配对重放和动作负担指标把“压缩何时有害”变成可检验问题,但结果提醒该信号目前很弱。作者还指出,要回答“是否优于 token 预算”需要语料额外发布哪些内容。与已有卡片(外骨骼、时序图分布漂移、在线模仿学习)无直接主题延续…
相关主题
对应的教材知识点
教材知识点匹配尚未完成。