知识卡片：NVIDIA 协同设计如何最大化 AI 工厂中每个字节的价值

一句话结论

NVIDIA 提出以“每个字节能产出多少有效工作量”为衡量标准，通过 GPU 架构、NVLink 扩展域、服务软件、CPU 和存储五个层面的协同设计，在 HBM 容量基本不变（每 GPU 288 GB）的条件下，使 Vera Rubin NVL72 相比 GB300 NVL72 达到最高 30 倍的每兆瓦吞吐量。

事件概述或研究问题

AI 工厂中 HBM 是最快、最贵、竞争最激烈的内存层级。冗余的权重副本、空闲会话的 KV 缓存、被重复计算的 prefix，都占用本可用于生成 token 的字节。问题已不再是“GPU 有多少内存”，而是“每个字节完成多少有用工作”。NVIDIA 技术博客（2026 年 11 月 5 日，作者 Eduardo Alvarez、Jamie Li、Ronil Prasad）从 GB300 到 Rubin 的代际数据出发：容量维持 288 GB，带宽升至 19.2 TB/s，而 agentic 吞吐每兆瓦增长远快于此，据此提出跨层协同设计是解释差距的关键。

方法/产品要点

1. NVFP4 量化：4 位 E2M1 元素，配每 16 值共享的 FP8（E4M3）微块缩放因子与每张量 FP32 缩放，兼顾体积与精度。
2. Wide Expert Parallelism（TensorRT-LLM）：把 MoE 专家分散到 8 块以上 GPU，DeepSeek-R1 在 EP64 下每 GPU 每层仅存 4 个专家（58 个 MoE 层共 232 个专家块，全模型 14,848 个）；配合 Expert Parallel Load Balancer（EPLB）在前后向之间重分配冷热专家。
3. NVIDIA Dynamo：将 KV 缓存视为机队级资源，含 KV 感知路由、分离式服务（prefill 与 decode 分池）、KV Cache Runner（KVCR，跨 GPU、固定 CPU 内存与存储分层管理块，经 NIXL 传输，KVCR-Guard 可在引擎故障时保留已提交的主机内存缓存）。
4. NVIDIA Vera CPU：88 个 Olympus 核心，单线程性能提升 1.8 倍，峰值负载延迟比 x86 低 40%，每核最高 14 GB/s 内存带宽，最高 1.5 TB LPDDR5X，经 NVLink-C2C 以 1.8 TB/s 与 Rubin 一致连接，用于在工具调用间隙暂存空闲 KV 缓存。
5. NVIDIA CMX：基于 BlueField-4 STX、Spectrum-X、DOCA Memos 与 Dynamo 集成的 pod 级 G3.5 存储层，实现 KV 缓存在节点间共享与复用。

主要结果或产业意义

• NVFP4 相对 FP16 缩小模型体积约 3.5 倍、相对 FP8 约 1.8 倍；在相同交互性下，DeepSeek R1 于 GB300 上达到 FP8 基线最高 4 倍的每兆瓦吞吐；NVFP4 KV 缓存较 FP8 缩小最多 50%，约 2 倍上下文可常驻设备，在 10 项 DeepSeek-v4-Pro 基准上保留 BF16 基线 99% 以上得分。
• GB200 NVL72 上 130 TB/s 聚合 NVLink 带宽吸收 all-to-all 流量；在 100 tokens/s/用户下，大 EP（EP32）比小 EP（EP8）每 GPU 输出 token 数最多高 1.8 倍；GB300 NVL72 在同等交互性下每兆瓦 token 吞吐为 H200 NVL8 的 10 倍。
• Vera Rubin NVL72 每 GPU 最高 288 GB HBM4、3.0 TB/s NVLink 6 带宽，整机架约 20.7 TB HBM4，并新增内联内存 TMA 描述符更新以减少随专家数增长的元数据开销。
• 存储侧验证：VAST Data 与 WEKA 分别演示单张 H100 达 35 GB/s（GPUDirect Storage）与八张 H100 聚合读取达 270 GB/s（定制 NIXL 插件）；VAST 另一项测试用 vLLM 与 LMCache 在 DGX H100 上以加载缓存替代重算，降低 Qwen3-32B 处理 130K token 提示的首 token 时延。
• 综合效果：Vera Rubin NVL72 在 SemiAnalysis AgentX（回放真实工具调用间隙与增长上下文的编码智能体会话）上，于每用户 160 tokens/s 时达到 GB300 NVL72 最高 30 倍的每兆瓦吞吐。

为什么重要

这条材料给出的不是单点硬件升级，而是一套“字节效率”叙事：容量停滞时，吞吐增长来自量化格式、专家分布、缓存路由与分层、CPU 驻留和存储复用的联合优化。对产业而言，它把 AI 基础设施的竞争指标从“峰值算力/内存容量”推向“每兆瓦有效 token 吞吐”和“缓存命中率”，也提示 agentic 负载下 CPU 与存储不再是从属部件，而是决定 HBM 是否被浪费的关键环节。与既有卡片相比，本条提供的是厂商侧的技术机制与基准数据，而非采购意愿或投资回报框架层面的观察。

局限与不确定性

• 30 倍、10 倍、4 倍等倍数均来自 NVIDIA 自行引用或参与的基准（SemiAnalysis AgentX、AA-AgentPerf、MLPerf Endpoints 等），具体配置、基线设置与可复现性待核实。
• 文中 NVFP4 KV 缓存基准提及“DeepSeek-v4-Pro”，该模型名称与版本信息待核实。
• 存储厂商验证数据（VAST、WEKA）为独立验证测试，未说明是否覆盖全部生产负载形态，通用性待核实。
• CMX、Vera CPU 与 Rubin 平台的量产可用时间、实际部署成本与功耗表现，材料未提供，待核实。
• 博客由 NVIDIA Nemotron 生成摘要，原文亦提示 AI 生成内容可能总结不完整。

可用于图书/PPT/简报的角度

• “从容量竞争到字节效率”：以 HBM 容量不变而吞吐增 30 倍为开场图表，讲基础设施评价指标的迁移。
• “AI 工厂的五层协同设计”：量化格式—扩展域—服务层—CPU—存储，可作为一张分层架构示意图。
• “空闲也是成本”：工具调用间隙的 KV 缓存驻留与重算，解释为什么 CPU 单线程性能和延迟会影响 GPU 内存效率。
• “KV 缓存作为机队级资源”：路由、分离式服务、分层卸载三件套，适合讲推理系统设计。
• 产业侧讨论题：厂商基准倍数应如何被企业采购评估校准（可与 ROI 框架类材料并读）。

原始材料

• 标题：Five Ways NVIDIA Co-Design Maximizes the Value of Every Byte in the AI Factory
• 来源：NVIDIA Technical Blog（Data Center / Cloud）
• 作者：Eduardo Alvarez、Jamie Li、Ronil Prasad
• 日期：Nov 05, 2026
• URL：https://developer.nvidia.com/blog/five-ways-nvidia-co-design-maximizes-the-value-of-every-byte-in-the-ai-factory
• 关键词：NVFP4、Wide Expert Parallelism、TensorRT-LLM、NVIDIA Dynamo、KV Cache Runner、NIXL、NVIDIA Vera CPU、NVIDIA CMX、Vera Rubin NVL72