模型分析方法
教材《人工智能导论》4.4.2 / 内部第1点 · 已审核
通俗解释
在探索可解释性的旅程中，我们首先将目光投向模型的内部，这种研究视角被称为模型分析方法。 它更像是针对深度神经网络的“神经科学”研究，试图揭示模型在训练过程中究竟掌握了什么样的知识，以及这些知识是如何被存储在参数之中的。
例子
寻找能强烈激活某个神经元的输入模式，观察该单元可能响应什么特征。
容易混淆
观察神经元激活只提供分析线索，不能直接证明模型学到了人类理解的概念。
检查理解
用自己的话解释“模型分析方法”在“可解释性与可视化”中的作用，并举出教材中的一个例子或适用场景。对照原文检查条件、公式和图表。
查看参考答案
要点：在探索可解释性的旅程中，我们首先将目光投向模型的内部，这种研究视角被称为模型分析方法。 它更像是针对深度神经网络的“神经科学”研究，试图揭示模型在训练过程中究竟掌握了什么样的知识，以及这些知识是如何被存储在参数之中的。 示例：寻找能强烈激活某个神经元的输入模式，观察该单元可能响应什么特征。