知识卡片：DolphinBench——智能体记忆的帕累托前沿基准

一句话结论

DolphinBench 是一个通过智能体任务完成来评估长期记忆的基准；它包含三个知识工作角色、每个角色约 50 万 token 用户消息和 200 个历史依赖任务，并要求同时报告准确率、总成本与延迟，以更全面地比较记忆系统。

事件概述或研究问题

论文指出，当前多数记忆基准采用对话问答形式，问题本身往往暗示必须检索某个事实，甚至暗示是哪一个。此外，基准通常只要求准确率，可能让记忆系统为了更高分而做出不合理的成本/时间权衡。

DolphinBench 研究的问题是：能否直接通过智能体任务完成来评估记忆，并把效果与代价一起纳入评估。

方法/产品要点

• 提出 DolphinBench 基准，评估对象是智能体在依赖历史信息任务上的完成情况，而非传统对话问答。
• 包含三个知识工作角色（knowledge-work personas）；每个角色约有 500k tokens 的用户消息。角色具体名称、领域分布待核实。
• 每个角色有 200 个任务，任务成功依赖该角色历史中的信息。
• 任务验证方式：运行同一智能体时，带相关历史应成功，不带相关历史应失败。任务构造、评分标准与统计方法待核实。
• 评估要求：除准确率外，还必须报告总成本与延迟。
• 作者称，没有现有记忆基准同时结合这三项要求（准确率、总成本、延迟）。
• 数据集和评估代码：https://dolphinbench.ai。

主要结果或产业意义

来源材料未给出 DolphinBench 上的具体模型分数、排名、成本/延迟数值或帕累托前沿形状，待核实。

从设计目标看，其产业意义在于把记忆系统评估从“问答命中率”推进到“真实任务完成 + 部署代价”：智能体记忆不仅要有效，还要考虑总成本与延迟，这可能更贴近实际选型与运营约束。

为什么重要

长期记忆和上下文回忆是智能体执行真实世界行动的基础能力。若基准只以对话问答呈现，问题本身可能泄露检索目标；若只看准确率，系统可能用极高成本或延迟换取分数。DolphinBench 通过历史依赖任务验证和成本/延迟报告，试图减少这两类评估偏差，使记忆评估更接近智能体工作流。

与既有脉络的关系

既有卡片分别关注智能体失败提前终止、工业代理持续保证和技能自对弈能力提升；本条不重复这些机制，而是聚焦“记忆”作为独立评估对象。

增量信息在于：DolphinBench 把任务完成、历史依赖反事实验证（有历史需成功、无历史需失败）以及准确率/成本/延迟联合报告组合到同一基准中。该组合是否已在其他基准中存在，来源仅给出作者声明，待核实。

局限与不确定性

• 来源为 arXiv 摘要页与摘要文本，未见完整实验设置、基线模型、结果表格或统计分析；具体性能结论待核实。
• 三个知识工作角色是否覆盖足够广泛的知识工作场景、任务类型、语言与工具环境，待核实。
• 每个角色约 500k tokens 和 200 个任务的具体构造方式、历史相关性强度、防泄漏措施，待核实。
• 总成本与延迟的计量口径（模型调用价格、硬件、缓存、并行策略等）待核实。
• “没有现有记忆基准同时结合这三项”是作者主张，材料未附系统综述证据，待核实。
• 数据集与代码链接的可访问性、许可、维护状态及长期可复现性，待核实。
• 论文的同行评审状态与后续版本差异，待核实。

可用于图书/PPT/简报的角度

• 从“问答式记忆评测”转向“任务完成式记忆评测”。
• 记忆系统评估三角：准确率、总成本、延迟，以及标题暗示的帕累托前沿视角。
• 用“有历史成功 / 无历史失败”解释记忆必要性的反事实验证。
• 长期上下文、用户画像和知识工作场景中的智能体基准设计。
• 将评估基准与既有卡片中的失败预测、效率优化、技能自对弈形成“评测—优化—部署”的叙事闭环；具体数据需等论文结果补充。

原始材料

• 英文标题：DolphinBench: Mapping the Pareto Frontier of Agent Memory
• 英文关键词：agent memory; benchmark; long-term memory; context recall; task completion; cost; latency; accuracy; knowledge-work personas
• 原始来源：arXiv: https://arxiv.org/abs/2609.24971v1
• PDF：https://arxiv.org/pdf/2609.24971v1
• arXiv ID：2609.24971v1
• 作者：Soumil Rathi, Deshraj Yadav, Taranjeet Singh
• 发布时间/更新：2026-09-21T17:54:35Z
• 主要分类：cs.CL
• 分类：cs.CL, cs.AI
• 数据集/评估代码：https://dolphinbench.ai
• 轨道：academic；主题：foundation-model；手动标题：DolphinBench: Mapping the Pareto Frontier of Agent Memory