NVIDIA 发布 TensorRT Edge-LLM 及 `trtedge` CLI,使开发者能在 DGX Spark 64GB 上通过几条命令下载模型、构建优化引擎、启动终端对话或本地 OpenAI 兼容 API 服务,并可将同一推理运行时部署到 Jetson Thor、DRIVE AGX Thor 和 IGX Thor 等边缘平台。
值得关注:边缘 AI 的瓶颈往往不在模型本身,而在“让模型在目标硬件上以可接受延迟和内存跑起来”的工程链路。TensorRT Edge-LLM 把模型下载、引擎构建、对话测试、API 服务、推测解码加速收敛到统一的 CLI 与运…