知识卡片：RATED：基于执行动态的可靠性感知AI智能体工具检索

一句话结论

RATED 提出一种将语义匹配与运行时可靠性反馈相结合的智能体工具检索框架，在严重API故障场景下将错误选择率从86.2%降至2.9%，且延迟开销不足1毫秒。

事件概述或研究问题

随着AI智能体日益依赖外部工具，工具检索的准确性对智能体的可靠行为至关重要。然而，现有方法主要优化语义相关性，很大程度上忽略了工具在执行过程中的可用性问题——即工具可能因API故障、服务中断等原因而暂时不可用。RATED旨在填补这一空白，让检索机制能够动态感知工具的实际可用状态。

方法/产品要点

RATED 框架由两个核心组件构成：

1. 语义匹配模块：采用冻结的双编码器（dual-encoder）配合对比微调，实现稳健的语义匹配。
2. 动态可靠性适配模块：使用轻量级上下文赌博机（contextual bandit）模块，基于实时执行反馈对候选工具进行重排序。

该设计的关键优势在于无需昂贵的模型重训练即可快速适应运行时工具故障。

此外，作者推出了 EcoAgent 基准测试集，包含5,172个真实工具和超过210,000个查询-工具对，用于离线检索和动态可靠性评估。

主要结果或产业意义

• 在真实查询上，RATED 相较于 ToolLLM API 检索器实现了 52.2% 的相对 MRR 提升。
• 在30%故障率的严重API中断场景下，错误选择率从 86.2% 降至 2.9%。
• 相比仅编码推理，额外延迟开销 不足1毫秒。
• 代码和数据集已开源：https://github.com/Elliotes/EcoAgent

为什么重要

现有智能体工具检索研究几乎聚焦于语义相关性，而忽略了工具在真实运行环境中可能不可用这一关键事实。RATED 首次将“执行动态”纳入工具检索环路，使智能体在遇到API故障时能自动切换到可用替代工具，而非反复选择已失效的工具。这对于构建高可靠性的智能体系统具有直接工程价值。与已有卡片中关注的智能体轨迹监控（OnTrack）和任务复杂度感知（E3）不同，RATED聚焦于工具检索环节的可靠性感知，三者共同构成了智能体执行可靠性的不同层面。

局限与不确定性

• 上下文赌博机模块在工具数量规模极大时的收敛性和探索效率待核实。
• EcoAgent 基准测试中工具故障模式的覆盖范围及是否代表真实生产环境待核实。
• 论文未提及在多方工具同时故障或故障恢复场景下的表现，待核实。
• 与现有工具检索管线的集成成本和兼容性待核实。

可用于图书/PPT/简报的角度

• “智能体不只是要选对工具，还要选能用的工具”——工具检索的可靠性维度。
• 上下文赌博机在AI基础设施中的轻量化应用案例。
• 从语义匹配到执行感知：检索系统的范式扩展。
• 基准测试集建设：如何评估动态环境下的检索可靠性。

与既有脉络的关系

已有卡片分别关注智能体的任务复杂度感知（E3）、轨迹评估（PTA-IRT）和实时监控（OnTrack），本条补充了工具检索环节的可靠性感知维度。RATED的增量信息在于：将检索从静态语义匹配扩展为动态可靠性适配，并提供了可量化的故障场景评估基准（EcoAgent）。

原始材料

• 标题：RATED: Reliability-Aware AI Agent Tool Retrieval via Execution Dynamics
• arXiv ID：2610.13889v1
• 作者：Weiliang Chen, Song Liao
• 发布日期：2026-10-09
• 主分类：cs.AI；交叉分类：cs.IR
• DOI：10.1145/3799682.3839887
• Abstract URL：https://arxiv.org/abs/2610.13889v1
• PDF URL：https://arxiv.org/pdf/2610.13889v1
• 代码与数据集：https://github.com/Elliotes/EcoAgent