多模态语义对齐
教材《人工智能导论》5.5 · 已审核
通俗解释
多模态系统用编码器和对齐机制让文本、图像、音频等信息进入可共同处理的表示空间。能力受输入质量、对齐训练和各模态覆盖范围影响。
例子
读图问答系统看见一个人举手，却推断他一定正在投票。
容易混淆
把图像转成输入并不保证模型真正理解了所有视觉细节。
检查理解
问答系统读图时，为什么需要区分识别到的内容与推断？
查看参考答案
“举手”是可见事实，“投票”是需上下文支持的推断；回答应区分观测、推断和不确定性。
教材《人工智能导论》5.5 · 已审核
多模态系统用编码器和对齐机制让文本、图像、音频等信息进入可共同处理的表示空间。能力受输入质量、对齐训练和各模态覆盖范围影响。
读图问答系统看见一个人举手，却推断他一定正在投票。
把图像转成输入并不保证模型真正理解了所有视觉细节。
问答系统读图时，为什么需要区分识别到的内容与推断？
“举手”是可见事实，“投票”是需上下文支持的推断；回答应区分观测、推断和不确定性。