知识卡片：TokenCast：预测 LLM 智能体执行中的 token 消耗

一句话结论

论文提出 TokenCast，为 LLM 智能体执行片段学习可组合的成本表示，在执行过程中无需额外 LLM 调用即可刷新 token 消耗预测，并在离线预算控制重放中显示节省 token 的潜力。

事件概述或研究问题

• 同一任务由 LLM 智能体执行时，token 消耗跨运行可相差超过一个数量级。
• 智能体依据工具反馈和中间结果决定下一步，同时不断增长的上下文会抬高后续每次调用的输入规模。
• 因此，任务总消耗难以在执行前预测，且预测需要随执行展开而修正。
• 研究问题是：如何为执行段建立可组合成本表示，并组合出累计 token 消耗估计。

方法/产品要点

• TokenCast 为每个执行段学习可组合成本表示，记录该段自身消耗及其引入的上下文增长。
• 组合相邻段可得到累计估计，纳入后续调用重读先前上下文造成的额外输入成本。
• 执行推进时，新观察证据用于刷新预测；摘要称不需要额外 LLM 调用。
• 在 SWE-bench Verified 上，平均累计预测时间为 32.8 ms/run。
• 代码开源于 https://github.com/DEFENSE-SEU/TokenCast。

主要结果或产业意义

• 在 4 个任务套件、6 个智能体模型、96 个评估组合中，TokenCast 相对最强比较器的平均绝对误差（MAE）降低幅度平均为 14.5%。
• 离线预算控制重放中，在匹配 trace completion 的条件下，TokenCast 平均比固定预算策略少用 21.3% tokens。
• 产业意义：若 token 消耗可在执行中低成本预测，可能为智能体预算控制、成本告警、资源调度和调用配额提供参考信号；但实际在线部署收益待核实。

为什么重要

• LLM 智能体成本不仅取决于单次调用，还受执行路径、工具反馈和上下文累积影响；TokenCast 把“执行中成本预测”作为一等对象。
• 与已有卡片“注定失败：通过受召回控制的探针级联提前终止 LLM 智能体片段”的关系：两者都利用执行中信息做资源/成本控制，但已有卡片关注失败预测与提前终止，本条关注 token 消耗预测和预算控制，增量在于对总消耗进行可组合、在线刷新的估计。
• 与逐 token 调度类工作相比，本条不直接调度推理组，而是预测执行级 token 需求，可能作为调度或预算策略的上游信号。

局限与不确定性

• 来源材料仅为摘要与元数据；方法架构、训练数据、特征、损失函数、评测细节未给出，待核实。
• 4 个任务套件与 6 个智能体模型的具体名称、比较器定义、固定预算策略、MAE 计算方式与统计显著性，待核实。
• 32.8 ms/run 的预测开销是否包含全部测量环境开销、是否跨任务稳定，待核实。
• 离线预算控制重放与真实在线部署的差距、对非 SWE-bench 场景的泛化，待核实。
• 代码可用性已由材料给出，但未独立复现实验。

可用于图书/PPT/简报的角度

• “同一任务，token 消耗为何能差一个数量级”：智能体路径依赖与上下文膨胀。
• 上下文重读的复利效应：前序片段如何被后续每次调用重新计入输入成本。
• 可组合成本表示：把执行段视为可拼接的成本单元。
• 在线预测而不额外调用 LLM：观测驱动的低成本刷新。
• 预算控制重放中的 21.3% token 节省：从预测到资源管理。
• 与失败预测/提前终止互补：一个判断“要不要继续”，一个判断“还要花多少”。

原始材料

• 英文标题：TokenCast: Forecasting Token Consumption During LLM Agent Execution
• arXiv ID：2609.35760v1
• 作者：Chaoqian Ouyang, Ling Yue, Libin Zheng, Huanghui Guo, Shengxiang Xu, YiShu Wang, Ran Li, Jian Yin, Shaowu Pan, Shimin Di
• 发布时间：2026-09-28T17:59:09Z（Updated: 2026-09-28T17:59:09Z）
• Primary category：cs.LG；Categories：cs.LG, cs.AI, cs.SE
• Abstract URL：https://arxiv.org/abs/2609.35760v1
• PDF URL：https://arxiv.org/pdf/2609.35760v1
• 代码：https://github.com/DEFENSE-SEU/TokenCast
• 英文关键词：材料未单列；标题/摘要中保留的英文术语包括 TokenCast, Forecasting Token Consumption During LLM Agent Execution, LLM agent, composable cost representation, budget-control replay, SWE-bench Verified。