预训练
教材《人工智能导论》5.4.2 / 内部第1点 · 已审核
通俗解释
如果说架构决定了模型能承载多大的能力，训练范式则决定了模型会学到什么、能够怎么用。 大语言模型常见训练过程可以概括为三步：预训练得到基座模型（Base Model），在指令数据上进行有监督微调，再通过对齐方法调整行为偏好。
例子
用大量未标注文本训练模型预测后续词元，再把模型用于下游任务。
容易混淆
预训练学到数据规律，不直接保证遵循用户指令或事实核验。
检查理解
用自己的话解释“预训练”在“预训练-指令微调-对齐新范式”中的作用，并举出教材中的一个例子或适用场景。对照原文检查条件、公式和图表。
查看参考答案
要点：如果说架构决定了模型能承载多大的能力，训练范式则决定了模型会学到什么、能够怎么用。 大语言模型常见训练过程可以概括为三步：预训练得到基座模型（Base Model），在指令数据上进行有监督微调，再通过对齐方法调整行为偏好。 示例：用大量未标注文本训练模型预测后续词元，再把模型用于下游任务。