知识卡片：SWE-Serve：面向生产推理服务的智能体工程基准

英文标题：SWE-Serve: Benchmarking Agentic Engineering For Production Inference Serving
英文关键词：SWE-Serve, agentic engineering, production inference serving, SGLang, pass@1, E2E serving tests, performance gates
原始来源：arXiv:2609.26777v1；https://arxiv.org/abs/2609.26777v1；PDF: https://arxiv.org/pdf/2609.26777v1

一句话结论

SWE-Serve 用来自 SGLang 生产变更的 53 个仓库级任务，评估智能体能否完成生产推理服务工程，并直接测出“本地测试通过”与“生产端到端正确”之间的显著差距。

事件概述或研究问题

现有基准对 production inference engineering 覆盖有限：仓库级软件工程基准不针对推理；通用终端 agent 基准只有少量推理任务；专用推理基准多聚焦孤立 kernel 生成或性能优化，而非仓库规模的生产功能实现。SWE-Serve 试图填补这一空白。

方法/产品要点

• 提供 53 个 repository-grounded tasks，源自 SGLang 近期生产变更，覆盖六个推理工程 family（具体 family 名称待核实）。
• 每个任务在 CPU 或单张 GPU（H100）上执行。
• 评估使用隐藏功能与回归测试；在适用任务上加入端到端（E2E）serving tests 和校准后的性能门槛。
• 设计包含可执行 no-op 与 oracle 控制、adversarial verifier review、closed-book execution，以支持任务有效性与评估完整性。
• 评测覆盖 11 个模型、31 种 model-effort configurations。

主要结果或产业意义

• 最佳配置达到 75% mean pass@1。
• 在 19 个有 E2E 覆盖的任务上，model-serving E2E 测试拒绝约三分之一通过其他所有测试的补丁。
• 摘要给出的通过率对比为：45.9%（verifier 口径）对 69.4%（将 E2E 测试排除评分时）；摘要还称各模型最佳配置的通过率上升（具体计算口径待核实）。
• 这说明智能体在仓库局部任务上的成功，不能直接等同于生产推理服务的正确性。

为什么重要

• 把“生产正确性差距”变成可测量的基准指标，便于跟踪未来 agent 是否从“能改代码/能过局部测试”走向“能满足端到端服务要求”。
• 对推理服务栈的模型支持、运行时执行和公共 API 协调提出仓库级综合能力要求，比孤立 kernel 或优化任务更接近真实工程。
• 与既有 TokTier 卡片同属智能体/推理服务方向，但 TokTier 关注长会话分词服务效率，本条增量在于提供 agent 在生产推理工程上的评测基准，并量化端到端正确性缺口；与 CausalForge 无直接继承关系。

局限与不确定性

• 六个推理工程 family 的具体名称和任务分布未在摘要中给出，待核实。
• 11 个模型与 31 种 model-effort configurations 的完整清单、逐模型结果、置信区间/统计显著性未在摘要中给出，待核实。
• 45.9% 与 69.4% 的具体评分口径、E2E 测试排除方式及“约三分之一”的精确计算待核实。
• 任务仅基于 SGLang 近期生产变更，能否推广到其他推理框架或部署栈待核实。
• 材料的同行评审状态、论文全文细节和复现实验设置待核实。

可用于图书/PPT/简报的角度

• 从“能改代码”到“能上线”：智能体评测中的生产正确性缺口。
• 生产推理服务为何需要跨模型支持、运行时执行和公共 API 的协同修改。
• E2E serving tests 与性能门槛在防止“假通过”中的作用。
• 基准设计中的有效性控制：no-op/oracle controls、对抗式 verifier 审阅、闭卷执行。
• 建议用 pass@1 之外的指标衡量 coding agent 的生产可用性。

原始材料

• 英文标题：SWE-Serve: Benchmarking Agentic Engineering For Production Inference Serving
• arXiv ID：2609.26777v1
• 作者：Jennifer Williams, Dave Farris, Jeff Farris, Jiantao Jiao
• 发布时间：2026-09-22T17:54:59Z（更新时间同）
• 分类：cs.AI, cs.SE；Primary: cs.AI
• URL：https://arxiv.org/abs/2609.26777v1
• PDF：https://arxiv.org/pdf/2609.26777v1
• 英文关键词（据材料）：SWE-Serve, Benchmarking Agentic Engineering, Production Inference Serving, SGLang, pass@1, E2E serving tests, performance gates