基础对齐与融合架构
教材《人工智能导论》5.5.1 / 内部第1点 · 已审核
通俗解释
此类架构是MLLM 的通用基础形态，其核心目标是建立跨模态的共享语义空间。 这类模型通常采用两阶段处理流程：首先利用各模态专用的编码器将原始输入转换为特征向量序列，例如ViT用于图像，BERT 用于文本；随后通过一个轻量级的适配器模块，将非文本模态的特征投影到语言模型的嵌入空间，以实现语义层面的对齐。
例子
把图片编码为视觉特征，经适配模块映射后交给语言模型回答“图中有什么”。
容易混淆
把多个编码器简单拼接起来，不自动形成可靠的跨模态语义对齐。
检查理解
用自己的话解释“基础对齐与融合架构”在“模型架构设计”中的作用，并举出教材中的一个例子或适用场景。对照原文检查条件、公式和图表。
查看参考答案
要点：此类架构是MLLM 的通用基础形态，其核心目标是建立跨模态的共享语义空间。 这类模型通常采用两阶段处理流程：首先利用各模态专用的编码器将原始输入转换为特征向量序列，例如ViT用于图像，BERT 用于文本；随后通过一个轻量级的适配器模块，将非文本模态的特征投影到语言模型的嵌入空间，以实现语义层面的对齐。 示例：把图片编码为视觉特征，经适配模块映射后交给语言模型回答“图中有什么”。