跨模态知识迁移
教材《人工智能导论》4.2.2 / 内部第3点 · 已审核
通俗解释
跨模态迁移尝试把一种模态学到的知识用于另一模态，但不同模态的表示需要对齐，并用目标任务数据验证效果。
例子
把文本模型学到的概念表示用于图文任务时，还要训练图像特征与文本表示的对齐。
容易混淆
一种模态学到的表示不能无损搬到另一模态，仍需对齐和验证。
检查理解
用自己的话解释“跨模态知识迁移”在“任务适配：模型迁移”中的作用，并举出教材中的一个例子或适用场景。对照原文检查条件、公式和图表。
查看参考答案
要点：跨模态迁移尝试把一种模态学到的知识用于另一模态，但不同模态的表示需要对齐，并用目标任务数据验证效果。 示例：把文本模型学到的概念表示用于图文任务时，还要训练图像特征与文本表示的对齐。