基础原理：深度神经网络的并行计算
教材《人工智能导论》4.3.2 / 内部第1点 · 已审核
通俗解释
从底层硬件架构来看，现代深度神经网络的训练主要依托由高性能GPU 组成的计算集群。 这类集群的基本物理单位被称为计算节点，每个节点本质上可以视作一台配备了高性能CPU 与多个核心GPU 的超级计算机。
例子
以xAI 公司的Colossus 计算集群为例，其内部集成了多达10 万个NVIDIA H100 GPU，由数以万计的GPU 计算节点与辅助CPU 节点协同工作。
容易混淆
增加计算设备不保证线性加速，通信与同步也会消耗时间。
检查理解
用自己的话解释“基础原理：深度神经网络的并行计算”在“分布式训练”中的作用，并举出教材中的一个例子或适用场景。对照原文检查条件、公式和图表。
查看参考答案
要点：从底层硬件架构来看，现代深度神经网络的训练主要依托由高性能GPU 组成的计算集群。 这类集群的基本物理单位被称为计算节点，每个节点本质上可以视作一台配备了高性能CPU 与多个核心GPU 的超级计算机。 示例：以xAI 公司的Colossus 计算集群为例，其内部集成了多达10 万个NVIDIA H100 GPU，由数以万计的GPU 计算节点与辅助CPU 节点协同工作。