知识卡片：TensorRT Edge-LLM 在 Jetson AGX Thor 上完成 MLPerf Edge Agentic 基准，速度达 6.4 倍

一句话结论

据 NVIDIA 技术博客，TensorRT Edge-LLM 在单台 NVIDIA Jetson AGX Thor Developer Kit 上运行 Qwen3.6-27B，完成 MLPerf Inference v6.1 Edge Agentic 性能工作负载耗时 24 分 36 秒，比 llama.cpp 参考运行快 6.4 倍，输出吞吐为 52.33 tokens/s，BFCL 总体准确率为 87.94%。

事件概述或研究问题

MLPerf Edge Agentic 衡量 OpenAI 兼容模型端点在性能与准确率两阶段的表现。性能阶段回放软件工程代理轨迹：模型接收用户请求、生成工具调用、观察工具结果，并继续同一对话；工作负载包含 20 个对话、1,007 个生成轮次，输入长度逐轮增长并达到约 23.5K tokens。准确率阶段使用 BFCL v4 prompts，单轮且关闭推理，检查模型是否选择正确函数、生成有效参数，以及在无需工具时是否避免调用工具。NVIDIA 提交使用 TensorRT Edge-LLM，在单台 Jetson AGX Thor 开发者套件、128 GB 统一内存、MAXN 功耗模式下运行 Qwen3.6-27B。材料作者简介称相关 MLPerf 工作组定义了面向边缘设备 AI 代理工作负载的行业标准基准；“首个”等表述建议以 MLCommons 官方信息复核。

方法/产品要点

硬件与运行配置：单台 NVIDIA Jetson AGX Thor Developer Kit，128 GB 统一内存，MAXN 功耗模式，SingleStream 模式。
模型与量化：Qwen3.6-27B 使用 NVFP4 权重量化与激活量化，包括语言模型头；KV cache 使用 FP8。NVFP4 是 4-bit 浮点格式，由 Jetson AGX Thor 中的 NVIDIA Blackwell GPU 支持。
KV cache 与循环状态复用：TensorRT Edge-LLM 识别可复用 prompt 前缀并恢复缓存 attention KV pages；由于 Qwen3.6 使用混合模型架构，运行时还恢复 recurrent state 和部分 KV-page state，然后只 prefill 新增对话后缀。
树式多 token 预测：在传统线性 MTP 之外，TensorRT Edge-LLM 实现树式 MTP。MLPerf 服务器配置使用 8 个 draft steps、每个 drafting depth 选择 top-2 候选、16 节点验证树。目标模型在一次前向中验证候选，并接受匹配路径；若接受多个候选，可一次推进多个 token。
可复现资源：材料提到 TensorRT Edge-LLM 的 release/0.9.1-mlpinf 分支、已校准的 Qwen3.6-27B NVFP4 checkpoint（centml/Qwen3.6-27B-NVFP4-W4A4-mlpinf）、MLCommons Edge Agentic example 与 endpoint harness。

主要结果或产业意义

输出吞吐：52.33 tokens/s。
中位首 token 时间：247.12 ms。
中位每输出 token 时间：14.68 ms。
BFCL 总体准确率：87.94%。
端到端完成时间：24 分 36 秒，完成全部 1,007 个 turns；llama.cpp 参考运行使用 Qwen3.6-27B 与 Q4_K_M 量化，耗时 2 小时 37 分钟；TensorRT Edge-LLM 提交快 6.4 倍。
KV cache 与 recurrent-state 复用：约 96% 的 prompt tokens 由 hot cache 提供；整个轮次中只 prefill 约 0.5M，而总 prompt tokens 为 13.6M。
树式 MTP：相比 3 个 draft steps 的线性 MTP，在函数调用工作负载上带来约 40% 的额外解码性能增益。
产业意义：边缘设备上的 agent 不同于单轮聊天，需要快速生成 token、高效处理长共享历史，并在有限功耗与内存内发出有效工具调用。该结果表明，通过量化、缓存复用和树式 MTP 等系统优化，边缘端可在 MLPerf Edge Agentic 这类端到端代理基准上显著缩短完成时间，同时维持一定函数调用准确率。

为什么重要

它把智能体评估从模型能力、搜索 API、文档解析等维度，扩展到边缘硬件与推理栈的端到端基准。对部署车辆、机器人、边缘设备的团队，MLPerf Edge Agentic 可作为比较推理引擎、量化方案和硬件平台的标准化视角。增量信息在于：已有相关卡片分别关注文档解析代理基准、智能体网络安全、搜索 API 的智能体增益；本条补充的是边缘 agentic 推理的 MLPerf 成绩，以及 TensorRT Edge-LLM 在 Jetson AGX Thor 上的量化、缓存复用和树式 MTP 组合。

与既有脉络的关系

已有相关卡片中，ParseBench 关注文档解析代理基准，智能体 AI 与网络安全关注攻防、监管与安全测试，Artificial Analysis Search Index 关注搜索 API 对同一智能体的质量/成本/速度增益。本条不与它们重复陈述同一事实，而是延续“智能体基准化评估”脉络：从软件工具、安全、搜索 API 扩展到边缘设备上的多轮工具调用端到端推理，并给出一个具体硬件/推理栈提交结果。

局限与不确定性

材料来自 NVIDIA 技术博客，并包含 AI 生成摘要；结果需以 MLCommons 官方结果、原始提交和第三方复现为准，独立复核情况待核实。
结果绑定特定硬件与功耗模式：单台 Jetson AGX Thor Developer Kit、128 GB 统一内存、MAXN；其他 Jetson 设备、功耗模式、多设备或并发场景表现待核实。
结果绑定特定模型与量化配置：Qwen3.6-27B、NVFP4 W4A4、FP8 KV cache；其他模型、量化精度和任务分布下的表现待核实。
准确率阶段仅使用 BFCL v4 单轮提示且关闭推理，不能等同于完整多轮代理任务成功率；多轮工具调用准确率、失败模式和端到端任务完成率待核实。
与 llama.cpp 参考运行的公平性细节，如软件版本、编译选项、功耗、预热、测量条件等，材料未充分展开，待核实。
能效、热表现、成本、内存占用、延迟分布、多用户并发和长时间稳定性未给出，待核实。
材料提到 MLCommons 公布完整结果，但本卡片未核验 MLCommons 官方榜单、认证或第三方复核细节，待核实。

可用于图书/PPT/简报的角度

“边缘智能体”趋势：AI agent 从云数据中心下沉到车辆、机器人和其他边缘设备。
系统优化杠杆：量化、KV cache/recurrent-state 复用、树式 MTP/投机解码如何降低长上下文多轮代理推理成本。
基准解读案例：MLPerf Edge Agentic 如何同时测量性能与准确率，以及为什么端到端完成时间比单 token 吞吐更接近代理体验。
同一模型、不同推理栈对比：TensorRT Edge-LLM 与 llama.cpp 参考运行在端到端代理工作负载上的差距。
部署决策提醒：读取边缘代理基准时，应同时关注准确率、功耗、成本、可复现性和具体硬件配置。

原始材料

英文标题：TensorRT Edge-LLM Completes the MLPerf Edge Agentic Benchmark 6.4x Faster on Jetson AGX Thor | NVIDIA Technical Blog
英文关键词：Agentic AI / Generative AI; General; Jetson; TensorRT; TensorRT-LLM; Intermediate Technical; Benchmark; AI Agent; AI Inference; LLM Benchmarking; MLPerf; Thor
原始来源：https://developer.nvidia.com/blog/tensorrt-edge-llm-completes-the-mlperf-edge-agentic-benchmark-6-4x-faster-on-jetson-agx-thor
发布日期：Sep 16, 2026
作者：Luxiao Zheng, Palanivel Guruva reddiar, Maximilien Breughe, Zhihan Jiang, Zhijia Liu, Lin Chai
文内提及的延伸资源：TensorRT Edge-LLM release/0.9.1-mlpinf 分支、centml/Qwen3.6-27B-NVFP4-W4A4-mlpinf checkpoint、MLCommons Edge Agentic example、MLCommons announcement；这些资源的完整性与官方认证状态待核实。