混合专家架构
教材《人工智能导论》5.5.1 / 内部第3点 · 已审核
通俗解释
该架构预设了一个由众多“专家”子网络构成的庞大模型库，每个专家都专注于处理某一特定类型或模式的任务。 其精髓在于一个智能的路由机制，该机制会针对每个词元（或一些词元组成的片段）实时分析其特性，并动态地、稀疏地激活其中最相关的少数几个专家（例如得分最高的前2 到4 个专家）并进行加权组合，而未被选中的专家则保持静默、不参与计算。
例子
一个词元进入模型时，由路由器选择少数专家处理，而不是每次让所有专家都计算。
容易混淆
路由只激活部分专家，不能用总参数量直接估计单次计算量。
检查理解
用自己的话解释“混合专家架构”在“模型架构设计”中的作用，并举出教材中的一个例子或适用场景。对照原文检查条件、公式和图表。
查看参考答案
要点：该架构预设了一个由众多“专家”子网络构成的庞大模型库，每个专家都专注于处理某一特定类型或模式的任务。 其精髓在于一个智能的路由机制，该机制会针对每个词元（或一些词元组成的片段）实时分析其特性，并动态地、稀疏地激活其中最相关的少数几个专家（例如得分最高的前2 到4 个专家）并进行加权组合，而未被选中的专家则保持静默、不参与计算。 示例：一个词元进入模型时，由路由器选择少数专家处理，而不是每次让所有专家都计算。