知识卡片：8 台 NVIDIA DGX Spark 节点运行前沿级 AI 模型

一句话结论

NVIDIA 在 GTC Berlin 宣布官方支持八节点 DGX Spark 集群，统一内存扩展至 1 TB，可本地运行 GLM 5.3（753B）等前沿级模型，并在推理、多模型编排和预训练三类负载上给出接近线性的扩展数据。

事件概述或研究问题

NVIDIA 官方博客（2026 年 10 月 22 日）介绍八节点 DGX Spark 集群的官方支持：单节点 128 GB 统一内存，四节点 512 GB，八节点达到 1 TB。博客要回答的问题是：当集群从 1 台扩展到 8 台时，本地推理、多模型路由与小模型预训练分别能获得怎样的性能扩展。

方法/产品要点

• 集群方式：NVIDIA Sync 的 Cluster Assistant 负责集群搭建与设备管理；官方称对八节点集群的支持将在年底前登陆 NVIDIA Sync。节点间通过 ConnectX-7 NIC 与 RoCE（RDMA over Converged Ethernet）交换张量。
• 扩展内存以运行大模型：八节点 1 TB 统一内存可容纳 Z.ai 的完整 GLM 5.3（753B）checkpoint（NVFP4 下约 470 GB），博客称其为可在本地服务的最大的开放模型之一。
• RoCEnante 集合通信后端：针对张量并行解码中“小消息、低并发、少量 rank”的模式，采用 all-to-all 交换加本地归约的单 kernel 实现，减少通信步数、降低延迟；已合入 FlashInfer，启动自检失败时透明回退到 NCCL。仅适用于交换机连接的拓扑，不替代 NCCL。
• 拓扑选择：物理 ring 拓扑成本低、部署简单，适合四节点单模型推理；交换机拓扑支持任意点对点连接，是八节点扩展、集群拆分和 RoCEnante 后端的前提。
• 多模型编排：NVIDIA NeMo Switchyard 用轻量分类器检查请求并路由到不同模型池，负载均衡器在副本间分发流量；路由策略为 YAML 文件，官方提供示例策略。
• 预训练演示：从零预训练 nanochat 模型（约 8.965 亿参数、20 层 Transformer、隐藏维度 1,280、序列长度 2,048 token），每节点持有完整模型副本，跨节点通信仅为每步一次梯度同步。

主要结果或产业意义

• GLM 5.3（753B）在八节点上的表现（NVFP4，MTP3，8K 输入长度）：并发 1 时 prefill 1,600 TPS、decode 31 TPS；并发 4 时 prefill 每用户 750 TPS、decode 总计 51 TPS；并发 8 时 prefill 每用户 473 TPS、decode 总计 67 TPS。博客另称 GLM 5.3 Flash 在八节点上生成约 80 TPS。
• Qwen3.8-27B（NVFP4，无投机解码）扩展：decode 从单节点约 11.86 TPS 提升到八节点交换机拓扑 52.58 TPS（4.43x）；八节点物理 ring 为 40.11 TPS（3.38x）；四节点 ring 为 32.82 TPS（2.77x），四节点交换机 + RoCEnante 为 36.34 TPS（3.06x）。prefill 扩展较弱，八节点交换机为 1.94x。
• RoCEnante 增益：八节点交换机拓扑下解码加速 4.43x，对比无该后端的 3.05x，扩展效率提升约 45%；四节点 NVFP4 下 prefill 约高 5%、decode 约高 21%，八节点非量化模型 decode 约高 18%。
• Switchyard 路由：在 92 例工具使用基准（含困难样例）上，路由代理得分 91/100，与纯 Qwen 配置持平；八节点按 3 个 Qwen 副本（各 2 节点）+ 2 个 MiniCPM 副本（各 1 节点）分配时，一半请求走 Qwen 约有 1.5x 聚合吞吐，四分之一请求走 Qwen 时约 3.0x。
• nanochat 预训练：八节点实现 7.79x 加速、97.4% 扩展效率（单节点 8,741 TPS → 八节点 68,079 TPS；全局 batch 每步 524,288 token）。

为什么重要

• 把“前沿级开放模型 + 多智能体负载 + 小模型预训练”从数据中心拉到桌面级集群，改变了本地 AI 开发的规模假设：内存而非单卡算力成为第一道门槛，八节点 1 TB 是跨过该门槛的关键配置。
• 给出按拓扑选型的工程结论：四节点无交换机 ring 是成本最低的单模型推理方案；需要拆分集群、任意点对点通信或使用 RoCEnante 时才引入交换机。
• Switchyard 展示了“大小模型混合池 + 请求路由”在固定硬件上提升聚合吞吐的路径，对多智能体、工具调用类负载有直接参考价值。
• 与既有 RTX Spark 卡片（单机完成编码智能体、微调、测试与部署）形成互补：本条讲的是多机横向扩展后的能力边界，增量信息在集群内存上限、集合通信后端与编排层。

局限与不确定性

• 所有性能数据来自 NVIDIA 官方博客，属厂商自测，缺少第三方复现；具体测试环境细节（如交换机型号、驱动版本）待核实。
• RoCEnante 仅适用于交换机连接拓扑，且博客明确表示集群规模与并发增大时 NCCL 更优；其适用范围有限。
• Switchyard 的路由质量结论基于 92 例工具使用基准，样本量小，泛化性待核实。
• nanochat 是约 8.965 亿参数的小模型，近线性扩展结论不能直接外推到前沿规模模型的预训练。
• 八节点支持在 NVIDIA Sync 中的落地时间官方表述为“年底前”，具体日期待核实。
• GLM 5.3 Flash 的 80 TPS 未说明测试条件（并发、序列长度），待核实。

可用于图书/PPT/简报的角度

• “桌面级集群的内存阶梯”：128 GB → 512 GB → 1 TB 对应可运行模型级别的跃迁，可作为本地 AI 硬件演进的图示。
• 通信后端取舍案例：all-to-all + 本地归约 vs ring all-reduce 的延迟与带宽权衡，适合讲分布式推理基础。
• 拓扑决策树：四节点 ring、八节点交换机、集群拆分三类场景的选型对照表。
• 大小模型混合编排的吞吐账本：同一 8 节点硬件上 1.5x–3.0x 聚合吞吐的来源拆解。
• 推理与训练扩展性对比：为何训练（每步一次梯度同步）比张量并行解码更容易接近线性扩展。

原始材料

• 标题：Running Frontier-Class AI Models Across 8 NVIDIA DGX Spark Nodes
• 来源：NVIDIA Technical Blog（2026 年 10 月 22 日），作者 Arvind Gopalakrishnan、Eugene Rakhmatulin、Manini Sharma、Prerit Rodney
• URL：https://developer.nvidia.com/blog/running-frontier-class-ai-models-across-8-nvidia-dgx-spark-nodes
• 关键词：NVIDIA DGX Spark、eight-node cluster、unified memory、GLM 5.3、RoCEnante、NCCL、NeMo Switchyard、nanochat、tensor parallelism、RoCE