Transformer架构
教材《人工智能导论》5.4.1 / 内部第1点 · 已审核
通俗解释
在Transformer 提出之前，深度学习范式下的自然语言处理序列建模主要采用RNN 及其门控变体，如长短期记忆单元（LSTM）和门控循环单元（GRU）。 这类模型沿时间步递归更新隐状态，计算过程具有天然的串行特性，使训练与推理难以充分并行；同时，信息在长序列中需经多步传递，容易出现梯度消失或爆炸，从而限制对长距离依赖的有效建模。
例子
处理长句时，用自注意力直接关联相距较远的两个词，而不依赖逐步递归传递。
容易混淆
自注意力有并行优势，但长序列计算和显存成本仍需考虑。
检查理解
用自己的话解释“Transformer架构”在“从Transformer到大模型的架构创新”中的作用，并举出教材中的一个例子或适用场景。对照原文检查条件、公式和图表。
查看参考答案
要点：在Transformer 提出之前，深度学习范式下的自然语言处理序列建模主要采用RNN 及其门控变体，如长短期记忆单元（LSTM）和门控循环单元（GRU）。 这类模型沿时间步递归更新隐状态，计算过程具有天然的串行特性，使训练与推理难以充分并行；同时，信息在长序列中需经多步传递，容易出现梯度消失或爆炸，从而限制对长距离依赖的有效建模。 示例：处理长句时，用自注意力直接关联相距较远的两个词，而不依赖逐步递归传递。