多模态偏好对齐
教材《人工智能导论》5.5.2 / 内部第3点 · 已审核
通俗解释
在预训练和监督微调之后，让模型输出符合人类复杂的审美与逻辑偏好，是训练的最后一环。 BaseReward 研究为此领域贡献了一份系统性的构建指南，其通过大量实验揭示，高性能多模态奖励模型（Reward Model，RM）的打造需要满足三个紧密关联的条件。
例子
图像里没有猫，模型却在描述里写“猫”；偏好或奖励反馈应降低这类无依据描述。
容易混淆
奖励模型的偏好分数不等于客观事实正确性。
检查理解
用自己的话解释“多模态偏好对齐”在“模型训练策略体系”中的作用，并举出教材中的一个例子或适用场景。对照原文检查条件、公式和图表。
查看参考答案
要点：在预训练和监督微调之后，让模型输出符合人类复杂的审美与逻辑偏好，是训练的最后一环。 BaseReward 研究为此领域贡献了一份系统性的构建指南，其通过大量实验揭示，高性能多模态奖励模型（Reward Model，RM）的打造需要满足三个紧密关联的条件。 示例：图像里没有猫，模型却在描述里写“猫”；偏好或奖励反馈应降低这类无依据描述。