循环网络与序列建模
教材《人工智能导论》3.3.3 · 已审核
通俗解释
循环网络按时间步更新隐藏状态，用于处理有顺序的数据。长序列训练可能受到梯度传播和串行计算限制，门控结构用于缓解部分问题。
例子
处理一句话时，循环网络的下一步隐藏状态依赖前一步结果。
容易混淆
序列任务的关键不只是输入长度，还包括顺序和依赖关系。
检查理解
循环网络为什么难像普通矩阵乘法一样完全并行？
查看参考答案
各时间步存在递归依赖，后一步通常要等待前一步的隐藏状态，因此难以像独立矩阵运算那样完全并行。
教材《人工智能导论》3.3.3 · 已审核
循环网络按时间步更新隐藏状态，用于处理有顺序的数据。长序列训练可能受到梯度传播和串行计算限制，门控结构用于缓解部分问题。
处理一句话时，循环网络的下一步隐藏状态依赖前一步结果。
序列任务的关键不只是输入长度，还包括顺序和依赖关系。
循环网络为什么难像普通矩阵乘法一样完全并行？
各时间步存在递归依赖，后一步通常要等待前一步的隐藏状态，因此难以像独立矩阵运算那样完全并行。