进阶技巧：计算-通信-显存平衡
教材《人工智能导论》4.3.2 / 内部第2点 · 已审核
通俗解释
人工智能计算集群往往面临着一个由计算性能、通信带宽与显存容量构成的硬件资源瓶颈。 因此，分布式训练本质上是对计算、通信与显存资源进行协同优化的系统性方法。
例子
例如，当显存空间告急时，可以通过激活重算（Activation Checkpointing）这种“以计算换显存”的方式，舍弃一部分中间计算结果并在需要时重新生成；或者利用完全分片数据并行（Fully Sharded Data Parallel，FSDP）这种“以通信换显存”的策略，将模型参数散布到整个集群。
容易混淆
节省显存的办法可能增加重算或通信成本，须按整体任务权衡。
检查理解
用自己的话解释“进阶技巧：计算-通信-显存平衡”在“分布式训练”中的作用，并举出教材中的一个例子或适用场景。对照原文检查条件、公式和图表。
查看参考答案
要点：人工智能计算集群往往面临着一个由计算性能、通信带宽与显存容量构成的硬件资源瓶颈。 因此，分布式训练本质上是对计算、通信与显存资源进行协同优化的系统性方法。 示例：例如，当显存空间告急时，可以通过激活重算（Activation Checkpointing）这种“以计算换显存”的方式，舍弃一部分中间计算结果并在需要时重新生成；或者利用完全分片数据并行（Fully Sharded Data Parallel，FSDP）这种“以通信换显存”的策略，将模型参数散布到整个集群。