知识卡片：FDE-Gym——AI 交付的最后一公里

一句话结论

FDE-Gym 是一个面向“前线部署工程师（FDE）”真实交付场景的智能体基准，用 95 个来自真实客户项目的端到端交付任务揭示：现有智能体在规格明确的任务上表现不错，但在需要澄清模糊需求、发现未言明约束的真实交付中仍存在显著差距。

事件概述或研究问题

现有智能体基准多基于问题报告、规格说明或任务票据来评估，这属于“规格明确”的任务。而真实世界的客户交付不同：前线部署工程师（FDE）必须澄清模糊需求、在运行中的系统上工作，并发现未被明说的约束。FDE-Gym 即为衡量这一“最后一公里”能力而提出。

方法/产品要点

• 数据集：95 个端到端交付任务，覆盖 18 个行业的 20 个客户场景，每个任务由行业专家基于真实交付项目改编。
• 环境：模拟客户环境，包含脚本化利益相关方（stakeholders）和可修改的客户系统；智能体需与利益相关方交互，并在类生产系统上操作以交付可用方案。
• 评分：以交付对客户自身成功指标的提升幅度计分，在 0（系统未改变）到 1（参考方案）之间归一化，并对利益相关方交互（消息、试运行、等待时间）施加惩罚。
• 人机对比：提供在线平台，让人类在相同评分标准下练习 FDE 技能。
• 评测规模：评估了来自 7 家提供商的 13 种模型配置。

主要结果或产业意义

• 在需要发现未言明约束的真实设置下，最佳配置平均 FDE-Gym 得分为 0.56，只解决了 95 个任务中的 14 个（得分至少 0.8 且无事故）。
• 发现未言明约束是主要瓶颈：当模型必须在没有明确指引的情况下自行发掘约束时，性能急剧下降。
• 仅靠信息发现不足以解释差距：即便在最佳配置从利益相关方获取了全部关键事实的 23 个任务上，也仅有 10 个达到了 0.8 及以上的归一化业务提升。
• 这些结果揭示了“解决规格明确的任务”与“为真实客户交付有效 AI 系统”之间的巨大差距。

为什么重要

该工作把评估焦点从“任务是否被解决”推进到“客户业务指标是否被真正改善”，并将信息澄清、约束发现与实际交付效果纳入同一评分体系。与既有工业 AI 代理治理、可解释性审计等卡片关注的方向不同，FDE-Gym 补充了“真实客户交付最后一公里”这一评估缺口：它说明即便智能体能拿到全部事实，也未必能把事实转化为业务提升，这对 AI 交付落地具有直接的方法论与产业参考价值。

局限与不确定性

• 95 个任务、20 个场景的规模相对有限，其代表性边界待核实。
• 评分对利益相关方交互施加惩罚，惩罚函数的具体设定及其对结果的影响程度待核实。
• 人类在相同评分标准下的实际表现数据未在摘要中给出，人机对比结论待核实。
• 任务覆盖的行业分布、语言与地域适用性待核实。

可用于图书/PPT/简报的角度

• “规格明确 vs 真实交付”的评估范式差异。
• 智能体落地的最后一公里：澄清需求、发现未言明约束、在活系统上操作。
• “拿到全部事实 ≠ 交付成功”：信息发现与业务转化之间的鸿沟。
• 以客户成功指标而非任务完成率来衡量 AI 交付价值。

原始材料

• 标题：FDE-Gym: The Last Mile of AI Delivery
• 来源：arXiv
• arXiv ID：2610.22350v1
• 链接：https://arxiv.org/abs/2610.22350v1
• PDF：https://arxiv.org/pdf/2610.22350v1
• 主分类：cs.AI；分类：cs.AI, cs.CL, cs.SE
• 发布时间：2026-10-15
• 作者：Dongxu Yang, Hongda Yan, Renxin Wang, Baoli Zhang, Haojia Zuo, Ying Zhao, Youmin Chen, Xiaojian Liao, Congming Gao, Tianyang Jiang, Yixiao Chen, Qing Wang, Zhiguo Yu, Xiaqing Li, Yuhao Zhang, Jiawen Sun, Renzhe Xu, De Mi, Tiancheng Wu, Xianya Fu, Xuanlu Zhao, Bo Feng, Meixuan Ren, Guanming Lin, Ziheng Zhou, Xinhua Wang

与既有脉络的关系

本条与已有的“面向工业中AI代理创建民主化的持续保证”同属工业 AI 代理评估与治理脉络，但关注点不同：前者侧重代理创建与保证，本条聚焦“最后一公里”的客户交付评估，强调未言明约束发现和业务指标提升，是本脉络在“真实交付效果评估”方向上的补充。