知识卡片：放手让模型自己查——简单 LLM 执行框架在根因分析诊断上优于手工编排智能体

一句话结论

在微服务故障根因分析（RCA）任务上，不预设模型调用流程的三种简单 LLM 执行框架（harness）在准确率上超过五个已发表的 LLM RCA 智能体与统计/因果方法；但该结论仅来自候选摘要与元数据，正文细节待核实。

事件概述或研究问题

微服务故障的根因分析吸引了许多 LLM 智能体，其调查流程多为手工设计（标准作业程序、固定阶段、角色智能体）。这些设计通常各自在自己的数据上、只对少数基线做评估，因此无法判断这类手工编排是否真的优于让能力较强的模型自行调查。该研究即针对这一问题做对比评估。

方法/产品要点

• 三个简单执行框架，均不规定模型的具体调用：一次性对证据包调用、SQL 智能体、Codex 编码智能体。
• 对比对象：五个已发表的 LLM RCA 智能体，以及统计方法与因果方法。
• 评测基准：RCAtlas，含来自八个公开数据集的 90 个经校验案例。
• 覆盖范围：六个模型、三档推理强度（reasoning effort）。
• 已发表智能体在程序中将一成到全部模型调用固定下来；案例研究显示这些预设会跳过决定性证据。
• 以下细节待核实：具体模型清单、SQL 智能体与 Codex 智能体的实现方式、PR@1 的精确定义、成本与时间的度量口径。

主要结果或产业意义

• 简单执行框架最准确：在三个中档模型上 PR@1 为 65–77%，高于已发表智能体（16–53%）与非 LLM 方法（6–39%）；在两类方法均运行的每个模型上均领先。
• 更强模型主要提升可靠性，多轮执行框架主要提升能力表现；提高推理强度对准确率最多只有几个百分点变化，却可能使耗时增至约七倍。
• 在准确率优于最佳非 LLM 方法的运行中，成本或时间上每一个帕累托最优运行都使用简单执行框架。
• 产业意义：手工编排的 RCA 智能体流程可能带来负面约束，简单封装强模型即可获得更高诊断准确率并更具成本效率（具体数据待核实）。

为什么重要

该结果对“复杂智能体编排必然优于简单封装”的默认假设提出反例，提示 RCA 智能体的设计重点可能应从流程编排转向证据供给与模型能力。相对于既有卡片中偏重轨迹分析与优化框架的主题，本条提供的是评测层面的横向比较证据（增量信息：跨数据集统一基准上的框架对比），但受限于未能抓取正文，结论强度待核实。

局限与不确定性

• 未能抓取正文，本卡片仅基于标题、候选摘要与元数据，所有数值与方法细节均待核实。
• 基准 RCAtlas 的构建方式、案例校验标准与数据泄漏控制待核实。
• 已发表智能体的复现条件（是否原样运行、是否调参）待核实。
• 结论是否可推广到其他运维诊断任务或其他模型代际待核实。

可用于图书/PPT/简报的角度

• “少编排、多放手”：智能体设计中预设流程的隐性成本。
• 评测方法论：统一基准与多模型多推理强度网格对比的价值。
• 成本—准确率帕累托视角：推理强度提升的收益与时间代价。
• 案例研究式叙事：预设流程如何跳过决定性证据。

与既有脉络的关系

与“从嘈杂轨迹到根因”等卡片同属智能体与根因分析交叉主题，但本条聚焦执行框架设计取舍的实证对比，而非轨迹分析或优化方法；不重复其事实陈述。

原始材料

• 标题：Free to Look, Free to Reason: Simple LLM Harnesses Outdiagnose Hand-Crafted Root Cause Analysis Agents
• 来源：arXiv（academic track）
• URL：https://arxiv.org/abs/2610.35767v1
• 关键词（英文）：LLM harness, root cause analysis, microservice failures, agent design, benchmark evaluation
• 备注：正文未抓取，内容待核实。