知识卡片：SWE-DIVE：基于动态用户模拟的多轮编码智能体评估

一句话结论

SWE-DIVE 是一个动态、交互式的评估框架，通过引入“用户模拟器”和“对话验证器”，在 Harbor 环境中对编码智能体进行多轮交互式评测，以弥补传统单轮、结构良好提示（如 SWE-bench）与实际使用场景之间的差距。

事件概述或研究问题

现有编码智能体评测（如 SWE-bench）通常采用一次性、形式良好的提示，并以 GitHub issue 作为输入判断任务是否解决。但真实使用中提示往往不够规范，且一次会话常包含多轮交互——用户会迭代追加新任务和需求。SWE-DIVE 旨在对这类多轮、动态交互能力进行基准测试。

方法/产品要点

• 用户模拟器（user simulator）：模拟不同行为模式，与编码智能体进行对话。
• 对话验证器（conversation validator）：评估用户模拟器的输出是否满足初始需求，并引导智能体走向任务成功解决。
• Harbor 环境：编排编码智能体、用户模拟器与对话验证器，并执行测试环境以判定智能体是否成功解决任务。
• 整体为动态、交互式的验证与评估框架，面向多轮环境。

主要结果或产业意义

材料仅提供了摘要与方法描述，未给出具体实验数值或对比结论，相关量化结果待核实。可确认的是，作者公开了结果与源代码（GitHub 仓库：https://github.com/lorenzbrehme/swe-dive_usersim），可作为复现与后续对比的基础。

为什么重要

它把编码智能体评测从“单轮静态提示”推进到“多轮动态交互”，更贴近真实开发会话中需求逐步澄清、追加的场景；同时通过对话验证器约束用户模拟器的行为，试图保证模拟对话仍服务于初始任务目标。这为评估智能体在模糊、演化需求下的表现提供了框架思路。

局限与不确定性

• 具体评测结果、覆盖的任务类型与规模、用户模拟器行为模式的种类与保真度：待核实。
• 对话验证器的判定标准与可靠性：待核实。
• 是否为同行评审发表、与 SWE-bench 等基准的直接对比数据：待核实。

可用于图书/PPT/简报的角度

• “从单轮到多轮”：编码智能体评测范式的演进脉络。
• 用户模拟器 + 验证器的“双组件”设计，作为交互式评测的通用架构参考。
• 真实使用场景与基准测试之间的落差（提示质量、需求迭代）。

原始材料

• 标题：SWE-DIVE: Multi-Turn Coding Agent Evaluation with Dynamic User Simulation
• arXiv ID：2610.30047v1（cs.SE；cs.AI）
• 作者：Lorenz Brehme, Benjamin Steenhoek, Ruth Breu
• 发布/更新：2026-10-21T17:06:34Z
• Abstract URL：https://arxiv.org/abs/2610.30047v1
• PDF URL：https://arxiv.org/pdf/2610.30047v1
• 代码仓库：https://github.com/lorenzbrehme/swe-dive_usersim