多模态模型训练
教材《人工智能导论》5.5.2 · 已审核
通俗解释
多模态训练需要让不同模态的表示逐步对齐，并控制数据质量与偏好信号。训练阶段和样本口径会影响模型能否遵循跨模态指令。
例子
一张猫图被错误配上“狗”的描述，并进入图文训练集。
容易混淆
多模态数据越多不必然越好，配对质量和覆盖范围同样重要。
检查理解
图文配对错误会给模型带来什么影响？
查看参考答案
错误配对会污染跨模态对齐信号，使模型学到错误的图文对应关系并影响后续识别或生成。
教材《人工智能导论》5.5.2 · 已审核
多模态训练需要让不同模态的表示逐步对齐，并控制数据质量与偏好信号。训练阶段和样本口径会影响模型能否遵循跨模态指令。
一张猫图被错误配上“狗”的描述，并进入图文训练集。
多模态数据越多不必然越好，配对质量和覆盖范围同样重要。
图文配对错误会给模型带来什么影响？
错误配对会污染跨模态对齐信号，使模型学到错误的图文对应关系并影响后续识别或生成。