Transformer的复杂度计算
教材《人工智能导论》4.4.3 / 内部第2点 · 已审核
通俗解释
Transformer 的计算成本由注意力、前馈网络等模块共同决定，输入序列长度尤其影响注意力计算。
例子
例如，将输入长度从512 扩展到4096 时，注意力计算量将增加64 倍。
容易混淆
注意力计算受输入长度影响，不能只看模型参数量评估长序列成本。
检查理解
用自己的话解释“Transformer的复杂度计算”在“计算复杂度分析”中的作用，并举出教材中的一个例子或适用场景。对照原文检查条件、公式和图表。
查看参考答案
要点：Transformer 的计算成本由注意力、前馈网络等模块共同决定，输入序列长度尤其影响注意力计算。 示例：例如，将输入长度从512 扩展到4096 时，注意力计算量将增加64 倍。