分布式训练
教材《人工智能导论》4.3.2 · 已审核
通俗解释
分布式训练把数据或模型计算分配到多设备，并处理同步、通信与显存约束。数据并行与模型并行解决的瓶颈不同。
例子
模型参数本身放不进一张显卡，即使把训练样本分到多卡也无法加载模型。
容易混淆
增加 GPU 数量不保证训练时间按比例缩短。
检查理解
模型放不进单卡时，数据并行能单独解决吗？
查看参考答案
单纯数据并行仍要求每个设备容纳模型副本；此时需要模型并行、切分或其他显存优化办法。
教材《人工智能导论》4.3.2 · 已审核
分布式训练把数据或模型计算分配到多设备，并处理同步、通信与显存约束。数据并行与模型并行解决的瓶颈不同。
模型参数本身放不进一张显卡，即使把训练样本分到多卡也无法加载模型。
增加 GPU 数量不保证训练时间按比例缩短。
模型放不进单卡时，数据并行能单独解决吗？
单纯数据并行仍要求每个设备容纳模型副本；此时需要模型并行、切分或其他显存优化办法。