据 NVIDIA 技术博客,TensorRT Edge-LLM 在单台 NVIDIA Jetson AGX Thor Developer Kit 上运行 Qwen3.6-27B,完成 MLPerf Inference v6.1 Edge Agentic 性能工作负载耗时 24 分 36 秒,比 llama.cpp 参考运行快 6.4 倍,输出吞吐为 52.…
值得关注:它把智能体评估从模型能力、搜索 API、文档解析等维度,扩展到边缘硬件与推理栈的端到端基准。对部署车辆、机器人、边缘设备的团队,MLPerf Edge Agentic 可作为比较推理引擎、量化方案和硬件平台的标准化视角…