思维链推理轨迹的“可读性”(legibility)并不等于“可解释性”。论文将推理步骤的真实重要性操作化为 advantage(包含该步骤带来的期望奖励变化,如最终答对的概率变化),并用蒙特卡洛 rollout 进行估计。结果发现:LLM 评判员对高重要性步骤的判断虽然能超过流行率基线(prevalence baseline),但远低于噪声天花板(nois…
值得关注:这项研究直接挑战了“通过阅读思维链就能理解模型决策”的流行直觉。如果推理轨迹的可读性不等于可解释性,那么基于思维链文本训练过程奖励模型、用 LLM 评判模型“哪一步错了”、或让模型解释自身推理等做法,都需要加入干预式验…