预训练指令微调与对齐
教材《人工智能导论》5.4.2 · 已审核
通俗解释
预训练学习语料中的统计规律，指令微调让模型更会遵循任务表达，对齐方法进一步调整回答偏好与行为边界。三阶段处理不同问题。
例子
仅按“预测下一个词”训练的模型面对用户要求的固定格式回答不稳定。
容易混淆
指令微调不能自动保证事实正确或符合所有人类价值。
检查理解
一个只做预训练的模型为何未必能稳定完成用户指令？
查看参考答案
预训练目标主要学习序列统计规律，未直接教会模型遵循各类用户指令；指令微调和后续对齐处理不同需求。
教材《人工智能导论》5.4.2 · 已审核
预训练学习语料中的统计规律，指令微调让模型更会遵循任务表达，对齐方法进一步调整回答偏好与行为边界。三阶段处理不同问题。
仅按“预测下一个词”训练的模型面对用户要求的固定格式回答不稳定。
指令微调不能自动保证事实正确或符合所有人类价值。
一个只做预训练的模型为何未必能稳定完成用户指令？
预训练目标主要学习序列统计规律，未直接教会模型遵循各类用户指令；指令微调和后续对齐处理不同需求。