AI消息速览

智能体历史能否预测上下文压缩何时有害?TRACE 配对重放语料上的有限且有界效应

事件日期 2026-10-06 · 学术前沿 · 已接受

事件日期2026-10-06
信息日期2026-10-06
入库日期2026-10-08
通道学术前沿
状态已接受
来源arXiv 论文

知识卡片:智能体历史能否预测上下文压缩何时有害?TRACE 配对重放语料上的有限且有界效应

一句话结论

在 TRACE 的 590 个 AppWorld 压缩边界配对重放语料上,压缩前历史只能弱预测压缩后的动作负担;最佳可解释触发器避免 21% 有害边界并保留 84% 压缩机会,但材料尚不支持其在匹配保留率下优于 token 预算规则的结论。

事件概述或研究问题

许多长时程智能体按全局规则压缩上下文,通常是 token 预算,而不看智能体当时在做什么。论文问:智能体近期行为能否预测一次压缩何时会造成伤害?TRACE 公开语料包含 590 个由 harness 触发的 AppWorld 压缩边界;每个边界从重新执行的前缀状态出发,在压缩前上下文和摘要条件下分别重放,并记录下一步动作负担——出错或重复已经发出的调用。

方法/产品要点

  • 使用 TRACE 配对重放:同一压缩边界,比较压缩前上下文与摘要下的后续动作负担。
  • 伤害/负担定义:后续调用出错,或重复已做过的调用;正负担边界视为有害压缩。
  • 检验压缩前历史是否预测压缩后伤害;包含内部预设的按前缀位置对比。
  • 触发器评估:最佳 extension-protocol 触发器留出集 AUROC 0.66(复现实验自身标签 0.64),对照同一边界复现为 0.72。
  • 最佳冻结、可解释触发器避免 21% 的有害(正负担)边界,同时保留 84% 的压缩机会;在计数上超过随机规则期望,但在负担总量上未超过(事后比较)。
  • 在匹配保留率下,最佳触发器能否击败 token 预算规则,无法在该发布版本上评估。

主要结果或产业意义

  • 压缩前历史对压缩后伤害只有弱预测力;内部预设对比为宽泛的零结果。
  • 朴素的 “has-written” 标签实际测量的是轨迹阶段,而非稳定的压缩伤害信号。
  • 最佳可解释触发器显示出一定筛选价值:避免部分有害边界,同时保留多数压缩机会,但这种效应是有限、有界的。
  • 对产业实践,材料不支持把“历史感知压缩触发”直接宣传为 token 预算的替代品;它更像是一个需要更强语料和评测设计来验证的方向。

为什么重要

长时程智能体的上下文压缩直接关系成本、延迟与任务成功率;全局 token 预算忽略任务状态,可能在不合适的时机压缩。本文的重要性在于:它用配对重放和动作负担指标把“压缩何时有害”变成可检验问题,但结果提醒该信号目前很弱。作者还指出,要回答“是否优于 token 预算”需要语料额外发布哪些内容。与已有卡片(外骨骼、时序图分布漂移、在线模仿学习)无直接主题延续或更新关系;本条增量是压缩触发预测的有限效应与评测缺口。

局限与不确定性

  • 效应有限:最佳 extension-protocol AUROC 0.66 低于同一边界复现的 0.72,在复现标签上为 0.64。
  • 预设对比为宽泛零结果;“has-written” 标签与轨迹阶段混淆。
  • 随机规则比较是事后比较,且在负担总量上未超过随机期望。
  • 无法在发布版本上评估匹配保留率下触发器与 token 预算规则的对比。
  • TRACE 语料是否覆盖多模型、多任务、多摘要方法、跨域泛化:待核实。
  • 触发器实现细节、阈值、训练/留出划分、统计不确定性:待核实。
  • 论文建议语料应发布哪些字段或协议的具体清单:待核实。
  • 同行评审状态与预印本状态:待核实。

可用于图书/PPT/简报的角度

  • 对比“全局 token 预算”与“行为感知压缩触发”。
  • 用配对重放定义压缩伤害:出错或重复调用。
  • 弱预测信号与评测陷阱:朴素标签实际测量轨迹阶段。
  • AUROC 0.66 vs 0.72:有限、有界效应的可视化案例。
  • 21% / 84% 的成本—收益权衡;随机规则在计数与负担总量上的差异。
  • 评测缺口:匹配保留率比较、语料应包含的字段与协议。
  • 智能体记忆/上下文管理章节的启示:先建立可复现配对评测,再宣称智能压缩。

原始材料

  • English title: Does an Agent's History Tell You When Compaction Will Hurt? A Modest, Bounded Effect on the TRACE Paired-Replay Corpus
  • English keywords(据材料术语整理): long-horizon agents; context compaction; TRACE; AppWorld; paired replay; token budget; AUROC
  • Authors: Egor Pakhomov, Erik Nijkamp
  • arXiv ID: 2610.08722v1
  • Published: 2026-10-06T17:26:57Z
  • Primary category: cs.AI
  • Categories: cs.AI, cs.LG
  • Abstract URL: https://arxiv.org/abs/2610.08722v1
  • PDF URL: https://arxiv.org/pdf/2610.08722v1
  • Track / Topics(任务元数据): academic / foundation-model

发现内容有误?

免登录提交,管理员审核并完成修正后才会公开修订说明。

值得关注

长时程智能体的上下文压缩直接关系成本、延迟与任务成功率;全局 token 预算忽略任务状态,可能在不合适的时机压缩。本文的重要性在于:它用配对重放和动作负担指标把“压缩何时有害”变成可检验问题,但结果提醒该信号目前很弱。作者还指出,要回答“是否优于 token 预算”需要语料额外发布哪些内容。与已有卡片(外骨骼、时序图分布漂移、在线模仿学习)无直接主题延续…

相关主题

对应的教材知识点

教材知识点匹配尚未完成。