知识卡片：千问 QwenGyre 框架——面向超长程智能体任务的在线强化学习

一句话结论

千问团队提出在线强化学习框架 QwenGyre，通过弹性调度空闲 GPU 与轨迹树/轨迹预算机制，在超长程智能体任务上同时提升了训练效率与最终通过率。

事件概述或研究问题

• 千问团队提出 QwenGyre，一个面向超长程智能体任务的在线强化学习框架。
• 任务特征：持续数小时、累计处理百万级 token。
• 研究问题：在这类长程任务中，如何在不中断任务执行的前提下进行在线训练，并减少分叉执行带来的重复计算开销。

方法/产品要点

• 弹性调度：把空闲 GPU 逐步转入训练，且不中断正在执行的任务（training without interrupting the task）。
• 轨迹树（trajectory tree）与轨迹预算（trajectory budget）：用于减少分叉执行的重复计算。
• 训练对象为 Qwen3.8-2.4T，训练步数为 48 步。

主要结果或产业意义

• NL2RepoBench 通过率：由 52.48% 提升至 58.54%。
• 总耗时：由 Async 的 134.55 小时降至 75.42 小时，加速 1.78 倍。
• 产业意义：为超长程、高 token 消耗的智能体任务提供了一条兼顾训练吞吐与任务连续性的在线 RL 路线，对需要长时间自主运行的 agent 场景（如代码库级任务、长流程自动化）具有参考价值。

为什么重要

• 超长程智能体任务（数小时、百万级 token）是当前 agent 能力扩展的关键方向，但训练效率与任务中断是主要瓶颈。
• QwenGyre 同时给出效率（1.78 倍加速）与效果（通过率提升）两个维度的量化结果，说明在线 RL 在长程任务上可以做到“边跑边学”而非牺牲任务连续性。
• 与已有强化学习类卡片（如 Sutton 强调的“持续从自身经验学习”）在方向上呼应：QwenGyre 属于部署/执行过程中持续进行在线学习的工程化尝试；但本条聚焦的是具体框架与基准结果，而非路线之争。

局限与不确定性

• 材料仅来自腾讯研究院 AI 速递的转述，未提供 QwenGyre 的论文或官方技术报告链接，论文是否已公开、代码是否开源：待核实。
• NL2RepoBench 的具体任务定义、评测设置、baseline（Async）的完整配置：待核实。
• 48 步训练对应的数据规模、算力配置、是否可复现：待核实。
• 除 NL2RepoBench 外的其他基准或真实场景表现：材料未提及，待核实。

可用于图书/PPT/简报的角度

• “边跑边学”的工程实现：弹性调度如何在任务不中断的前提下回收空闲算力用于训练。
• 长程 agent 训练的成本结构：轨迹树与轨迹预算如何压缩分叉执行的重复计算。
• 效率—效果双指标叙事：用 1.78 倍加速 + 通过率 +6.06 个百分点说明在线 RL 的可行性。
• 对比视角：与 Async 式训练在总耗时上的差异，可作为“同步 vs 弹性调度”的案例。

与既有脉络的关系

• 已有卡片《强化学习之父 Sutton 创业成立 Oak Lab》强调智能体需从自身经验持续学习；QwenGyre 可视为该思路在超长程 agent 任务上的具体工程落地案例之一，增量在于给出了可量化的效率与通过率数据。
• 与《AI 代理强化学习实战指南》属同一主题方向，本条提供的是具体框架与基准结果，而非通用方法综述。

原始材料

• 来源：腾讯研究院 AI 速递 20261013
• URL: https://m.sohu.com/a/1086887226_455313?scm=10001.325_13-325_13.0.0-0-0-0-0.5_1334
• 英文标题（保留）：QwenGyre
• 英文关键词（保留）：online reinforcement learning, long-horizon agent, elastic scheduling, trajectory tree, trajectory budget, NL2RepoBench
• 注：以上内容基于 Parent digest 中“四、千问提出 QwenGyre 框架，面向超长程任务做在线强化学习”一节的转述整理。