规模定律与MoE
教材《人工智能导论》5.4.1 / 内部第3点 · 已审核
通俗解释
如果说Transformer 重新定义了如何构建模型，那么规模定律（Scaling Law）则重新定义了扩展至何种规模。 规模定律指的是，当训练数据、模型规模以及计算资源按照合适的配比增加时，模型的性能会按照可预测的幂律关系持续提升。
例子
MoE 路由器对输入词元只激活少数相关专家，而不是每次计算全部专家。
容易混淆
总参数量与每次实际激活的参数量不同，MoE 也有路由和通信成本。
检查理解
用自己的话解释“规模定律与MoE”在“从Transformer到大模型的架构创新”中的作用，并举出教材中的一个例子或适用场景。对照原文检查条件、公式和图表。
查看参考答案
要点：如果说Transformer 重新定义了如何构建模型，那么规模定律（Scaling Law）则重新定义了扩展至何种规模。 规模定律指的是，当训练数据、模型规模以及计算资源按照合适的配比增加时，模型的性能会按照可预测的幂律关系持续提升。 示例：MoE 路由器对输入词元只激活少数相关专家，而不是每次计算全部专家。