模型可解释性
教材《人工智能导论》4.4.1,4.4.2 · 已审核
通俗解释
可解释性方法尝试说明模型依据哪些输入或内部表示作出判断，可用于发现偏差与故障。可视化或归因结果是分析线索，需再通过干预和验证判断其可靠性。
例子
显著性图总突出图片背景，而不是目标物体。
容易混淆
一张显著性图本身不能证明模型的因果推理过程。
检查理解
若模型关注背景而非目标物体，可能暴露什么问题？
查看参考答案
模型可能利用背景相关性作出判断，暴露数据偏差或伪相关；仍需通过干预和独立样本验证。
教材《人工智能导论》4.4.1,4.4.2 · 已审核
可解释性方法尝试说明模型依据哪些输入或内部表示作出判断，可用于发现偏差与故障。可视化或归因结果是分析线索，需再通过干预和验证判断其可靠性。
显著性图总突出图片背景，而不是目标物体。
一张显著性图本身不能证明模型的因果推理过程。
若模型关注背景而非目标物体，可能暴露什么问题？
模型可能利用背景相关性作出判断，暴露数据偏差或伪相关；仍需通过干预和独立样本验证。