多模态模型架构
教材《人工智能导论》5.5.1 · 已审核
通俗解释
多模态大模型通常组合模态编码器、投影或融合模块与语言模型。特征压缩、专家路由和视觉语言动作连接解决的是不同规模与任务需求。
例子
视觉编码器把图片变成特征，适配模块再把特征送入语言模型。
容易混淆
接入图像编码器不等于模型自动具备可靠的视觉定位和行动能力。
检查理解
视觉编码器输出如何被语言模型使用？
查看参考答案
视觉特征需经过投影或融合模块映射到语言模型可处理的表示，模型才能结合文字上下文生成回答。
教材《人工智能导论》5.5.1 · 已审核
多模态大模型通常组合模态编码器、投影或融合模块与语言模型。特征压缩、专家路由和视觉语言动作连接解决的是不同规模与任务需求。
视觉编码器把图片变成特征，适配模块再把特征送入语言模型。
接入图像编码器不等于模型自动具备可靠的视觉定位和行动能力。
视觉编码器输出如何被语言模型使用？
视觉特征需经过投影或融合模块映射到语言模型可处理的表示，模型才能结合文字上下文生成回答。