知识卡片：NVIDIA NVLink：面向AI工厂的规模扩展网络

英文标题：NVIDIA NVLink: The Scale-Up Network for AI Factories
英文关键词：NVLink, Scale-Up Networking, AI Factory, MoE, GPU Interconnect, Extreme Co-Design, In-Network Compute

一句话结论

第六代NVIDIA NVLink是专为AI工厂设计的规模扩展网络，通过3.6 TB/s每GPU带宽、260 TB/s机架级带宽和130 TFLOPS网络内计算，在大型MoE和LLM推理中比传统以太网方案实现最高2.3倍解码吞吐量，并通过极端软硬件协同设计带来50倍每瓦特token提升（从Hopper到Blackwell）。

事件概述 / 研究问题

AI工厂需要将大量加速器作为单一计算单元协同工作，传统以太网在带宽、延迟和网络内计算能力上无法满足万亿参数MoE模型、长上下文推理和分离式推理等场景下的GPU间密集通信需求。NVLink第六代作为专用规模扩展网络，旨在解决这一核心架构瓶颈。

方法 / 产品要点

第六代NVLink规格：
- 每GPU双向带宽：3.6 TB/s
- 72-GPU域机架级带宽：260 TB/s
- 网络内计算（SHARP in-network compute）：130 TFLOPS（FP8）
- GPU间端到端延迟：比基于现成以太网的方案低3倍
- 数据包速率：比现成以太网方案高10倍
拓扑与硬件：
- 全对全（all-to-all）拓扑，采用NVLink 6 Switch托盘和5000根电缆脊线
- 每个托盘含4个NVLink 6交换芯片，总带宽28.8 TB/s，14.4 TFLOPS网络内计算
软件栈：
- 集成NVIDIA Dynamo（分离式推理）、TensorRT-LLM、NCCL、NIXL，全部基于CUDA平台
- 支持专家并行（Expert Parallelism）、动态资源分配、分布式集合操作加速
弹性与运营特性：
- 控制平面弹性、热插拔交换托盘、动态路由、在线更新、细粒度遥测
未来扩展：
- 路线图支持高达1152 GPU的规模扩展域，并通过共封装光学（co-packaged optics）连接
- 支持NVLink-C2C（CPU-GPU一致性）和NVLink Fusion（自定义XPU无缝集成）

主要结果 / 产业意义

性能对比：在DeepSeek-R1、Qwen 235B和2T参数模拟LLM上，NVLink解码吞吐量比现成以太网（OTS Ethernet）最高提升2.3倍（基于模拟，72加速器规模扩展域）
能效提升：从NVIDIA Hopper到NVIDIA Blackwell（含NVLink带宽翻倍、域从8 GPU扩展到72 GPU、集成Dynamo），MoE推理每瓦特token提升50倍
部署成熟度：超过十年的规模扩展技术投资，已在全球领先超大规模客户、云服务提供商和超算中心部署

为什么重要

规模扩展网络是AI工厂最具影响力的架构决策之一，直接决定token在专家间流动效率、集合操作完成速度以及整体吞吐量。NVLink通过极端协同设计（芯片-系统-网络-软件全栈优化）提供专用解决方案，降低运营商在部署新平台时的风险，实现持续、可靠的投资回报率（ROI）。

局限与不确定性

文中部分性能对比数据（如2.3倍解码吞吐量）基于模拟，实际部署效果可能因工作负载、配置和环境差异而不同。
最大域大小1152 GPU及共封装光学连接属于未来路线图承诺，具体实现节点和性能待核实。
文章未对比NVLink与InfiniBand在训练场景下的性能差异，也未提供实际工厂长期稳定运行的故障率数据。

可用于图书/PPT/简报的角度

AI基础设施设计决策：解释为何规模扩展网络比简单看峰值FLOPS更重要，对比专用网络（NVLink）与通用以太网在延迟、带宽和网络内计算上的差异。
软硬件协同设计的力量：以NVLink为例，展示从芯片到软件的全栈优化如何产生数量级能效提升（50倍），适合作为架构师或CTO演讲案例。
AI工厂经济学：强调“交付性能+工厂弹性+平台成熟度”三维评估框架，说明如何将技术指标转化为持续投资回报。
未来趋势：以NVLink路线图（1152 GPU域、光学互联）预示下一代AI工厂的规模扩展方向。

原始材料

URL: https://developer.nvidia.com/blog/nvidia-nvlink-the-scale-up-network-for-ai-factories
来源: NVIDIA Technical Blog, Jul 20, 2026, by Jesse Clayton