知识卡片：语言智能体的行动与预测协同演化

一句话结论

CoPE 通过在成功轨迹上增加“多步动作预测”这一辅助监督，让语言智能体的策略主干在训练中同时学习“行动”与“预测未来动作”，在不增加推理开销的前提下提升了聚合性能与样本效率。

事件概述或研究问题

• 语言智能体训练受制于长时程（long-horizon）rollout 的高成本，而标准智能体强化学习（RL）仅依赖终端的标量奖励，导致中间步骤的监督信号大量闲置。
• 已有工作尝试利用中间监督，主要有两类目标：价值目标（估计每步成功概率）与观测目标（拟合环境响应）。
• 论文指出这两类目标都难以构造好：价值目标对轨迹中每一步都来自同一个标量信号；观测目标（如网页、终端日志）冗长嘈杂，且只能前瞻一步。
• 研究问题：能否引入第三类监督——多步动作目标——来更有效地利用轨迹中的中间信号？

方法/产品要点

• 提出 CoPE（据候选摘要名称，具体全称待核实），在成功且 on-policy 的轨迹上，训练策略主干根据每个历史（history）生成其后续的动作序列。
• 每个动作还会在“从先前历史进行预测”的设定下被监督，形成一个时间集成（temporal ensemble），由共享主干在训练中吸收，从而使“行动”与“预测”协同演化（co-evolve）。
• 推理时策略仍然一次只执行一步动作，不产生额外开销。
• 无需额外模型、无需单独预训练、无推理开销，仅使用单一策略主干（single policy backbone）。
• 代码库：https://github.com/ulab-uiuc/CoPE

主要结果或产业意义

• 在五个基准（ALFWorld、ScienceWorld、WebShop、$τ^2$-bench、AppWorld）上评估。
• 在模拟环境中，CoPE 的聚合性能强于 GRPO 以及带有预测性辅助目标的 RL 基线；在两个更贴近真实的应用上也提升了整体表现。
• 在 ScienceWorld 上，样本效率最高分别达到 ECHO 的 1.9 倍与 GRPO 的 2.0 倍。
• 上述收益均以单一策略主干实现，不依赖额外模型、单独预训练或推理开销。

为什么重要

• 针对长时程 rollout 昂贵这一智能体训练瓶颈，提出了一条利用中间步骤监督的新路径（多步动作目标），而非沿用价值目标或观测目标。
• “训练时预测、推理时只行动”的设计意味着性能收益不以推理成本为代价，对实际部署更友好。
• 与既有相关卡片相比，本卡片关注的是智能体训练范式/监督信号设计层面的增量，而非交互协议（NLIP）、记忆与自我反思模块化扩展，或用户主权评估基准；若与记忆/反思类工作结合，可能构成“训练效率 + 模块化认知扩展”的互补脉络（此结合为推测，待核实）。

局限与不确定性

• 论文提出的方法名在来源摘要中显示为占位符 \name，候选摘要与标题指向 CoPE，但正式方法名与全称待核实。
• 摘要未给出各基准的具体数值、方差或统计显著性，具体指标待核实。
• 摘要未说明多步动作目标的预测步长、超参数设置与消融细节，待核实。
• 摘要称在“模拟环境”与“真实应用”上均有提升，但未明确哪些基准属于哪一类，待核实。
• 未说明对失败轨迹或非 on-policy 数据的处理方式，待核实。

可用于图书/PPT/简报的角度

• “第三类监督信号”：在价值目标与观测目标之外，用多步动作预测补充中间监督。
• “训练时预测、推理时行动”的零开销增益范式。
• 样本效率对比：ScienceWorld 上相对 ECHO 与 GRPO 的 1.9× / 2.0× 提升。
• 单一主干、无额外模型与无单独预训练的训练设计取舍。
• 语言智能体 RL 的监督信号设计谱系：终端标量奖励 → 价值/观测目标 → 多步动作目标。

与既有脉络的关系

• 既有卡片《面向双过程语言智能体的认知扩展》同样在 ScienceWorld 上评估，关注推理阶段的记忆与自我反思模块；本条关注训练阶段的监督信号设计，二者互补而非重复。
• 既有卡片《面向AI智能体的自然语言交互协议与标准（NLIP）》关注智能体互操作协议层；本条不涉及协议标准。
• 既有卡片《SovereignPA-Bench》关注个人代理的主权与同意约束评估；本条不涉及该评估维度。

原始材料

• Title: Co-Evolving Acting and Forecasting for Language Agents
• arXiv ID: 2610.20597v1
• Authors: Haofei Yu, Yixing Chen, Yining Zhao, Xuyan Ye, Yuxiang Liu, Zhigang Hua, Yan Xie, Shuang Yang, Jiaxuan You
• Published: 2026-10-14T17:59:28Z
• Primary category: cs.AI
• Categories: cs.AI, cs.LG
• Abstract URL: https://arxiv.org/abs/2610.20597v1
• PDF URL: https://arxiv.org/pdf/2610.20597v1
• Codebase: https://github.com/ulab-uiuc/CoPE