AI消息速览

Cursor 面向长程代理的 token 效率优化

事件日期 2026-09-24 · 产业观察 · 已接受

事件日期2026-09-24
信息日期2026-09-24
入库日期2026-09-24
通道产业观察
状态已接受
来源Cursor 博客

知识卡片:Cursor 面向长程代理的 token 效率优化

一句话结论

Cursor 通过多层 agent harness 优化——裁剪系统提示、按需加载工具、改进缓存复用、压缩文件读取、策略性使用子代理——使其代理的用户 token 成本降低 7%,并声称不降低代理质量。

事件概述或研究问题

  • 来源为 Cursor 官方研究博客文章《Improved token efficiency for longer agent runs》,日期为 Sep 23, 2026。
  • 文章关注的问题:随着代理承担更长期、更复杂的任务,token 支出结构发生变化;代理运行更久、跨步骤携带更多上下文,因此如何组装、缓存和隔离上下文变得更重要。
  • 文章用生产流量展示代理推理支出分为输出、未缓存输入和缓存输入,但摘录中未给出具体图表数值;精确比例待核实。
  • 这不是同行评审论文,而是产品团队基于 A/B 测试和生产流量总结的 harness 工程实践。

方法/产品要点

  • 裁剪系统提示:随着模型能力提升,减少工具使用、任务管理、代码变更流程等冗长指令,以及“不要这样做”“必须如此”等防御性提示;系统提示约裁剪 66%。团队强调在大用户群上做 A/B 测试,因为 evals 常偏“难题”,不一定代表真实请求分布。
  • 按需加载工具:工具定义随能力增加而膨胀,多数工具只在少于 20% 的会话中需要。此前将 MCP 工具移入动态上下文后,调用 MCP 工具的会话总 token 降低 46.9%;现在对内置工具采用同类做法,使静态上下文中的工具描述 token 减少 60%。
  • 静态与动态工具分层:保留高频的读取、搜索、编辑、shell 工具;保留 ask_question,因为部分模型容易幻觉调用;保留特定产品流程关键工具,如 Plan Mode 中的 create_plan。其余工具改为代理需要时加载。
  • 改进缓存复用:每轮代理请求都会重发工具、系统指令、设置和对话历史。GPT-5.6 之后,OpenAI API 支持在默认隐式缓存之外显式标记 cache breakpoints。Cursor 在稳定层之后、增长中的对话之前放置断点,并把易变设置移到 “phantom user message”,使冷缓存未命中率降低 20%。
  • 压缩文件读取:Read 工具传统上给每行编号,便于模型引用代码,但长会话中会累积大量 token。改为每第 10 行编号后,cache-read token 降低 1.6%,文章称质量无下降。
  • 策略性使用子代理:子代理以新上下文窗口启动,可减少父代理携带完整对话的成本,但上下文隔离会带来协调税,如重复工作。Cursor 移除强烈鼓励用子代理探索代码库的指令,并收紧子代理模型选择:仅当用户或 harness 指示时,代理才选择不同模型。
  • 持续优化:团队继续测量长运行中上下文如何累积,并称已将经验用于优化 Grok Bot 的独特 harness。

主要结果或产业意义

  • 文章称,跨这些 harness 层的改动使用户 token 成本降低 7%,且未降低代理质量。
  • 具体子结果包括:系统提示裁剪约 66%;内置工具卸载使静态工具描述 token 减少 60%;MCP 工具动态化使相关会话总 token 减少 46.9%;冷缓存未命中率降低 20%;文件读取行号压缩使 cache-read token 降低 1.6%。
  • 产业意义:代理成本优化不再只靠模型推理引擎或单价,也取决于 harness 如何组织静态/动态上下文、缓存边界、工具定义和子代理隔离。
  • 对编码代理和长程代理产品而言,这提供了一条“token 使用增长慢于完成任务量增长”的工程路径。

为什么重要

  • 长程代理的主要成本来源正在从单次输出转向重复携带的上下文和工具定义;优化 harness 可直接影响用户成本和产品经济性。
  • 文章把上下文管理拆成可测试的工程层:系统提示、工具加载、缓存断点、文件读取格式、子代理调度,便于其他代理产品借鉴。
  • 与已有“Cursor 云代理环境的构建与自愈”卡片的关系:那条卡片聚焦 anydev、Cursor Cloud MCP、Cloud Doctor 以及云代理贡献 PR 比例;本条是同一 Cursor agent 工程脉络的延续,但增量不在环境构建,而在 token 与上下文效率优化,以及 7% 成本降低。
  • 与编码代理推理基准类卡片相比,本条补充了“harness 层成本优化”视角,而非单纯比较推理引擎吞吐或每请求成本。

局限与不确定性

  • 数据来自 Cursor 官方博客,未经独立复现;7% token 成本降低和“不降低质量”的具体评估指标、统计显著性和样本量待核实。
  • A/B 测试配置、不同模型家族、不同用户工作负载下的效果差异待核实。
  • 缓存断点优化依赖 OpenAI API 和 GPT-5.6 之后的能力,其他模型提供商或自托管模型的可移植性待核实。
  • 46.9% 是“调用 MCP 工具的会话”中的总 token 降低,不是全局成本降幅;60% 是静态上下文工具描述 token 降低,也不是总 token 降幅。
  • 子代理协调税的具体量化、子代理节省的 token 比例、Grok Bot harness 优化结果均未在摘录中披露,待核实。
  • 文章日期为 Sep 23, 2026,且属于产品团队博客;若用于正式研究引用,建议核对原文图表和完整评测口径。

可用于图书/PPT/简报的角度

  • 代理 harness 经济学:模型之外的成本工程。
  • 上下文分层:静态上下文、动态上下文、缓存边界与 “phantom user message”。
  • 工具定义膨胀:为什么按需加载工具能显著降低 token。
  • 长程代理的子代理隔离:收益与协调税。
  • 用真实流量 A/B 测试优化 harness,而不是只依赖 evals。
  • Cursor 案例:编码代理如何从环境构建走向 token 效率和成本优化。
  • 产业趋势:代理完成任务量增长,但 token 使用量可能因 harness 优化而增长更慢。

原始材料

  • 英文标题:Improved token efficiency for longer agent runs · Cursor
  • 英文关键词:agent harness, token efficiency, prompt caching, cache breakpoints, dynamic context, subagents, MCP tools, system prompt, context management, Cursor
  • 原始来源:Cursor Blog,https://cursor.com/blog/improved-token-efficiency
  • 作者:Jediah Katz, Connor O’Keefe & Calvin Yee
  • 日期:Sep 23, 2026
  • 阅读时长:7 min read
  • 板块:research

发现内容有误?

免登录提交,管理员审核并完成修正后才会公开修订说明。

值得关注

长程代理的主要成本来源正在从单次输出转向重复携带的上下文和工具定义;优化 harness 可直接影响用户成本和产品经济性。 文章把上下文管理拆成可测试的工程层:系统提示、工具加载、缓存断点、文件读取格式、子代理调度,便于其他代理产品借鉴。 与已有“Cursor 云代理环境的构建与自愈”卡片的关系:那条卡片聚焦 `anydev`、`Cursor Cloud…

相关主题

对应的教材知识点

教材知识点匹配尚未完成。