知识卡片：面向 NVIDIA Dynamo 的 Kubernetes 运行时验证方案

一句话结论

NVIDIA 通过 AI Cluster Runtime（AICR）把 Dynamo 分布式推理框架及其底层 Kubernetes 运行时依赖打包成可复现、可验证的“配方”，让团队从模型配置到可用推理端点有一条经过验证的路径。

事件概述或研究问题

构建 AI 应用的团队需要从模型配置走到可用的推理端点。在 Kubernetes 上部署 NVIDIA Dynamo 只是第一步，GPU 驱动、资源分配、调度、网络与监控必须协同工作。NVIDIA 技术博客（2026-10-30，作者 Stefan Schimanski、Jamie Li、Yuan Chen）介绍了如何用 AICR 封装这些运行时依赖，并对比 Dynamo 在 Kubernetes 上的两条路由路径。研究/工程问题是：如何让平台团队以可重复方式部署并校验支撑 Dynamo 的运行时，把运行时搭建与应用部署分离。

方法/产品要点

• AICR 配方：属于 NVIDIA DSX AI Factory Platform，为特定环境与负载定义配置，固定组件版本、兼容性约束与验证检查，记录节点选择器、容忍度、校验和等。
• 配方覆盖的运行时前置条件（表 1）：GPU 驱动栈（NVIDIA GPU Operator）、GPU 发现（Node Feature Discovery）、GPU 分配（DRA Driver for NVIDIA GPUs）、调度（KAI Scheduler，含拓扑与 gang scheduling）、推理负载编排（Grove）、节点健康（NVSentinel、Nodewright，视配方支持情况）、指标（Prometheus 栈）、入口（agentgateway 与 Gateway API 资源）。
• Dynamo 平台版本：AICR 提供 dynamo-platform chart 1.4.2，含 Dynamo operator、运行时镜像与 nvidia.com/v1beta1 DynamoGraphDeployment CRD（v1beta1 取代 v1alpha1）。Dynamo 1.4 起前端、worker、可选 GAIE/EPP 组件通过 Kubernetes 资源互相发现，默认路径不再使用 NATS，chart 也不再默认安装 NATS（仍可选用）。
• 请求面与 KV 缓存事件面分离：Dynamo 1.4.2 默认 AICR Kubernetes 路径用 TCP 承载请求、用 ZMQ 承载 KV 缓存事件。vLLM worker 引擎通过本地 ZMQ 发布原始 KV 缓存事件（示例配置启用 prefix caching 并设置 publisher: zmq、endpoint: tcp://*:5557），Dynamo worker 运行时订阅、规范化并转发到 Dynamo 事件面，供原生 Frontend 路由与 GAIE/EPP 路径做缓存感知路由。
• 两条路由路径：
  • 路径 1（Dynamo Frontend 路由）：默认路径，Frontend 位于 Kubernetes Service 之后，DYN_ROUTER_MODE=kv，对请求分词、按前缀重叠与当前负载打分选 worker，经 TCP 请求面分发；适合模型专属端点或现有边缘代理转发，是部署与验证 Dynamo 图的最小拓扑，也是生产验证最充分的选项。
  • 路径 2（Gateway API Inference Extension + Dynamo EPP）：agentgateway 将 HTTPRoute 解析到 InferencePool，Dynamo operator 从 DynamoGraphDeployment 创建该 InferencePool（selector 标识合格 worker pod，endpointPickerRef 指向 Dynamo EPP Service）；EPP 分词并用 Dynamo KV 路由选端点，返回选择与路由元数据给网关；每个可路由 worker pod 带 Dynamo Frontend sidecar（--router-mode direct）接收并转发到本地 worker。适合平台团队管理共享 Kubernetes 入口、通过 Gateway API 配置超时/重试/回退的场景。博客说明其覆盖 operator 管理的 DynamoGraphDeployment 与 GAIE 集成，实验性的 standalone vanilla vLLM on-ramp 是另一套集成；Dynamo 1.4 该路径用 GAIE 的 Go EPP 框架并以 CGO 嵌入 Dynamo 的 Rust KV 路由（经 eppConfig 配置）。
• AICR 五步流程：快照集群 → 生成 Dynamo 推理配方 → 渲染部署包 → 用 Helmfile 或 GitOps 部署运行时 → 在安装应用负载前验证已安装运行时。
• 版本展望：Dynamo 1.5 起以原生 Rust EPP 取代 Go/CGO 桥接，直接实现 GAIE 的 Lightweight Endpoint Picker（ext_proc）接口，在进程内运行完整 Dynamo 路由，用 DYN_* 环境变量替代 eppConfig 插件与调度配置，聚合与分离式路由直接由 Dynamo 发现机制注册的 worker 角色处理，Kubernetes 拓扑不变，并降低每请求 EPP 开销。

主要结果或产业意义

• 把“Dynamo 能否跑起来”的隐性依赖显性化、版本化、可校验，平台团队获得可重复部署与检查运行时的方式，开发者获得一致的模型服务与测试基础。
• 明确区分自管入口（路径 1，最小拓扑、生产验证充分）与共享入口（路径 2，与 Gateway API 生态集成）两种落地形态，便于组织按团队边界选型。
• 分离式服务（prefill/decode 拆分）让运营者可按请求组合独立扩缩与调优预填充和解码容量；缓存未命中率随负载而异（长会话 agentic 与一次性聊天不同）。

为什么重要

Agentic 工作负载会反复扩展长 token 前缀（系统提示、工具定义、对话历史、工具结果）；若回合到达未持有该前缀的 worker，系统会重处理中间 token 而非复用缓存。Dynamo 的 KV 感知路由与预填充/解码分离直接针对这一成本结构。AICR 则把这类优化所依赖的驱动、DRA、gang scheduling、节点健康与指标栈固定为可验证配方，减少团队在基础设施依赖上消耗、偏离模型行为与性能测试的时间。相对既有卡片（如 GB300 NVL72 的全栈协同设计记录），本条增量在于“部署与运行时治理层”：不是单点性能纪录，而是把分布式推理框架落到可复现 Kubernetes 运行时的工程路径。

局限与不确定性

• 材料为 NVIDIA 官方技术博客，属厂商视角；未给出第三方独立复现或性能对比数据。
• 节点健康组件 NVSentinel、Nodewright 标注“视所选配方支持情况”，具体可用范围待核实。
• Dynamo 1.5 的 Rust EPP 属“Outlook”（展望），实际发布时间与行为待核实。
• 博客未提供各路径的量化性能、延迟或成本对比；缓存未命中率“取决于工作负载”，无具体数值。
• AICR 配方对非 NVIDIA 加速器或混合集群的支持情况，材料未涉及。

可用于图书/PPT/简报的角度

• “从模型到端点”的最后一公里：为什么 Kubernetes 上的推理运行时需要被当作产品来验证。
• 配方化基础设施（recipe-as-runtime）：固定版本 + 校验检查如何降低平台团队与算法团队的耦合。
• 两条路由路径的选型矩阵：团队边界（模型专属 vs 共享入口）、拓扑复杂度、生产成熟度。
• KV 缓存感知路由与分离式服务：agentic 负载下的 token 复用经济学。
• 事件面与请求面分离（TCP + ZMQ）作为分布式推理的解耦设计案例。
• 路线图视角：Go/CGO 桥接到原生 Rust EPP 的演进，说明“减少每请求开销”的工程取舍。

原始材料

• 标题：Build a Validated Kubernetes Runtime for NVIDIA Dynamo | NVIDIA Technical Blog
• 来源：NVIDIA Technical Blog（Data Center / Cloud）
• 日期：Oct 30, 2026
• 作者：Stefan Schimanski、Jamie Li、Yuan Chen
• URL：https://developer.nvidia.com/blog/build-a-validated-kubernetes-runtime-for-nvidia-dynamo
• 关键词（英文）：NVIDIA Dynamo, NVIDIA AI Cluster Runtime (AICR), Kubernetes, DynamoGraphDeployment, Gateway API Inference Extension (GAIE), Endpoint Picker Plugin (EPP), KV-cache aware routing, disaggregated serving, Dynamic Resource Allocation (DRA), KAI Scheduler, Grove, NVIDIA GPU Operator, agentgateway, ZMQ, TCP