知识卡片：用 NVIDIA NeMo Relay 追踪 Agent Harness 行为

一句话结论

NVIDIA NeMo Relay 通过统一可观测层，把 Agent harness 的模型调用与工具调用记录为 ATOF 事件流、ATIF 分步轨迹和 OpenTelemetry/OpenInference spans，使开发者能同时检查“任务是否成功”和“Agent 如何完成”，并据此评估 harness 改动是否真正改善结果。

事件概述或研究问题

• 来源文章为 NVIDIA Technical Blog 教程《Tracing Agent Harness Behavior with NVIDIA NeMo Relay》，日期为 Sep 30, 2026，作者为 William Markito Oliveira、Maryam Najafian、Moon Chung、Teknium。
• 核心问题：Agent 可能最终完成任务但路径低效，例如失败搜索触发更多搜索、文件读取截断导致重复抓取；正确最终答案会掩盖额外延迟与 token 消耗。
• 教程用 Hermes Agent 与 NVIDIA NeMo Relay 运行两个示例，并通过执行 trace 检查模型调用、工具调用、错误、重试、时长和 token 使用，再与任务验证结果对照。
• 文章还通过 Hermes ToolPerf case study 展示如何用同类方法评估 agent harness 变更。

方法/产品要点

• NeMo Relay 为 agent 开发者提供观察和控制模型与工具执行的通用方式；Hermes Agent 原生集成 NeMo Relay，并将 sessions、turns、model calls、tool calls 表示为 scope 层级。
• NeMo Relay 记录有序生命周期事件，保留时间信息和父子关系。三种 trace 输出为：
  • ATOF：Agent Trajectory Observability Format，JSONL 日志，包含 scope starts、scope ends、point-in-time mark，以及 ID 和时间戳，用于调试或审计单个事件、时序和父子关系。
  • ATIF：Agent Trajectory Interchange Format，由生命周期事件组装的 JSON 记录，包含 agent 交互、工具调用和 observations，用于逐步审查、分析或评估 agent 路径。
  • OpenTelemetry + OpenInference：以父子 span 记录运行，标注 agent、LLM、tool spans 及其属性，可在 Phoenix 等 OTEL 兼容工具中查看模型/工具调用、时长、token 使用和错误。
• 教程实验 1：Hermes 使用 terminal tool 在隔离 Docker 容器中运行 Python 脚本，输出 VALUE=42；runner 验证精确输出、完成的模型 scope、token 使用和零工具错误。运行时环境位于 .tutorial-runtime/，包含 Python 3.11、Hermes 0.21.1、NeMo Relay 0.8.3，不修改现有 Python 或 Hermes 安装。
• 实验 1 的一次已验证运行显示：ATOF events: 74、completed llm scopes: 2、llm scopes with usage: 2、prompt tokens: 7239、completion tokens: 96、total tokens: 7335、tool calls: 1、tool errors: 0、correlated events: 74；ATIF 显示 agent 为 Hermes Agent，model 为 nvidia/nemotron-3.5-lightning-30b-a3b，steps: 3、llm calls: 2、requested tool calls: 1。
• 教程实验 2：多工具研究任务。Hermes 读取旅行记录，搜索网页，在官方网站确认会议，写报告，并返回会议名 COLT 2026。runner 要求成功完成 read_file、web_search、web_extract、write_file，生成非空 ATIF，并将带正 token 使用的模型与工具 span 发送到 Phoenix。
• NeMo Relay 使用 OpenInference exporter，通过 OTLP 将 OpenTelemetry spans 发送到 Arize Phoenix；也可通过修改 endpoint 和认证设置发送到 LangSmith 等其他 OTLP 兼容后端。
• Harness 评估步骤包括：选择有精确自动成功检查的固定任务，定义 baseline 和 fixed revisions 等；摘录在“Define a baseline and”处截断，后续步骤待核实。

主要结果或产业意义

• 实验 1 通过 Task verified: VALUE=42 确认结果，同时 trace 显示模型 scope、token、工具调用和工具错误情况。
• 实验 2 通过检查 COLT 2026、报告内容、官方来源，以及四个工具调用成功，确认多工具研究任务完成；Phoenix 可展示从初始文件读取、网页搜索、来源验证、报告写入到最终响应的完整运行路径。
• 材料中的 AI 摘要称，Hermes ToolPerf case study 比较 baseline 与 fixed revisions，共 108 次运行，发现 Qwen Coder 30B 恢复了更多任务，但增加了调用、数据和延迟。该 case study 的完整方法、指标定义和统计细节待核实。
• 产业意义：NeMo Relay 可作为 agent 安全与治理的 evidence layer，为企业、评估者和安全系统提供结构化 traces 和 trajectories，用于调查 agent 行为、评估策略、改进控制或创建扩展 Relay 的专用安全插件。

为什么重要

• Agent 评估不能只看最终成功；trace 能暴露重试、额外模型调用、token 消耗、延迟和工具错误，有助于可靠性、成本和安全治理。
• 标准化格式与 OpenTelemetry 生态结合，可降低对单一可观测性工具的锁定，并支持 Phoenix、LangSmith 等后端。
• 与既有脉络的关系：已有相关卡片分别关注 NeMo RL/Gym 的自动研究工作流、NeMo Switchyard 的模型路由、以及 Nemotron/NeMo 的工业报警分析代理。本条增量在于 agent harness 的可观测性与追踪层：它不直接做任务自动化或模型路由，而是为这些 agent 工作流提供路径证据、验证对照和 harness 变更评估基础。

局限与不确定性

• 文章是 NVIDIA 教程，示例与工具链偏向 NeMo Relay、Hermes Agent、NVIDIA Nemotron 和 Phoenix，结论的通用性需结合其他 harness 与后端验证。
• 来源包含 AI-generated summary，原文也提示“AI-generated content may summarize information incompletely. Verify important information.”部分细节需回到原文核实。
• Hermes ToolPerf case study 的 108 次运行、Qwen Coder 30B 的恢复率提升、调用/数据/延迟增加幅度，以及 baseline/fixed revisions 的具体差异，待核实。
• 实验 2 使用实时 web search，因此适合探索行为，不适合直接用于模型排名；受控比较需要固定搜索响应并重复运行。
• Trace 可能包含 prompts、模型响应、工具参数与结果、文件路径和其他应用数据；分享前需审查和脱敏。具体合规与安全配置待核实。

可用于图书/PPT/简报的角度

• 从“结果验证”到“路径验证”：Agent 评估应同时看成功率与执行轨迹效率。
• Agent observability 技术栈：ATOF、ATIF、OpenTelemetry、OpenInference、OTLP、Phoenix。
• Harness A/B 评估：固定任务、自动成功检查、重复运行、轨迹对比。
• 工具调用错误恢复与重试可视化：失败搜索、截断读取、重复抓取如何被发现。
• 多工具研究任务示例：read_file、web_search、web_extract、write_file 的链路追踪。
• 安全治理：结构化 trace 作为调查、策略评估和控制改进的证据层。
• 可移植性：同一 OpenTelemetry trace 发送到不同 OTLP 兼容后端。

原始材料

• 英文标题：Tracing Agent Harness Behavior with NVIDIA NeMo Relay | NVIDIA Technical Blog
• 英文关键词：agent observability; NVIDIA NeMo Relay; Hermes Agent; ATOF; ATIF; OpenTelemetry; OpenInference; Arize Phoenix; LangSmith; agent harness evaluation
• 原始来源：NVIDIA Technical Blog，Sep 30, 2026，https://developer.nvidia.com/blog/tracing-agent-harness-behavior-with-nvidia-nemo-relay
• 作者：William Markito Oliveira, Maryam Najafian, Moon Chung, Teknium
• 伴随教程仓库：https://github.com/NVIDIA/nemoclaw-community
• 相关格式与文档：ATOF、ATIF、NeMo Relay observability guide；具体链接与版本状态待核实。