注意力机制
教材《人工智能导论》3.3.3 / 内部第3点 · 已审核
通俗解释
为了彻底解决RNN 在处理长序列时的信息衰减与长距离依赖难题，人们选择打破“局部依赖”的传统假设，认为序列中任意位置的数据之间都可能存在潜在关联，由此引入了注意力机制。 正如其名，注意力机制的核心思想是让模型在输出每个词时，能够动态且有选择性地“关注”输入序列中最相关的部分。
例子
回答代词“它”指什么时，让模型重点关注句中与该代词相关的先前词语。
容易混淆
注意力权重表示模型内部关联，不自动等同于可靠的因果解释。
检查理解
用自己的话解释“注意力机制”在“主流网络结构”中的作用，并举出教材中的一个例子或适用场景。对照原文检查条件、公式和图表。
查看参考答案
要点：为了彻底解决RNN 在处理长序列时的信息衰减与长距离依赖难题，人们选择打破“局部依赖”的传统假设，认为序列中任意位置的数据之间都可能存在潜在关联，由此引入了注意力机制。 正如其名，注意力机制的核心思想是让模型在输出每个词时，能够动态且有选择性地“关注”输入序列中最相关的部分。 示例：回答代词“它”指什么时，让模型重点关注句中与该代词相关的先前词语。