过程监督与细粒度评估
教材《人工智能导论》5.5.3 / 内部第2点 · 已审核
通俗解释
为了解决长链条推理中的逻辑漂移问题，DreamPRM-1.5提出了一种基于过程奖励模型（ProcessReward Model，PRM）的推理方法，通过生成式奖励模型对推理过程的每一步进行细粒度评估。 该方法的实施包含三个关键环节：①在评分方式上，模型在推理链的每个步骤输出“+”或“-”符号，直观标示该步推理的合理性；②在打分机制上，通过Softmax 函数计算“+”符号的出现概率，将其作为该推理步骤的置信度分数；③在聚合策略上，对完整推理链的所有步骤分数进行加权平均，再与标准答案进行对比校准。
例子
模型解多步题时，分别检查每一步依据，而不只看最后答案是否碰巧正确。
容易混淆
只看最终答案可能掩盖错误步骤，过程监督也需要可靠标签。
检查理解
用自己的话解释“过程监督与细粒度评估”在“模型推理方法”中的作用，并举出教材中的一个例子或适用场景。对照原文检查条件、公式和图表。
查看参考答案
要点：为了解决长链条推理中的逻辑漂移问题，DreamPRM-1.5提出了一种基于过程奖励模型（ProcessReward Model，PRM）的推理方法，通过生成式奖励模型对推理过程的每一步进行细粒度评估。 该方法的实施包含三个关键环节：①在评分方式上，模型在推理链的每个步骤输出“+”或“-”符号，直观标示该步推理的合理性；②在打分机制上，通过Softmax 函数计算“+”符号的出现概率，将其作为该推理步骤的置信度分数；③在聚合策略上，对完整推理链的所有步骤分数进行加权平均，再与标准答案进行对比校准。 示例：模型解多步题时，分别检查每一步依据，而不只看最后答案是否碰巧正确。