该研究用“打乱选项顺序、保持题目与候选内容不变”的测试发现:Jev 风格 System One 模型虽然在重复呈现下准确率稳定(波动小于 2 个百分点),但其累计失败集合相对原始顺序扩大 27–29%,且并不比生成式 LLM 基线更能保持正确选择,说明“可重复的准确率”不等于“对选择偏差的鲁棒性”。
值得关注:揭示了“可重复决策”与“跨等价呈现仍正确决策”之间的差距。 对依赖选项顺序稳定的评测与部署提出警示:准确率稳定可能掩盖选择偏差导致的失败扩散。 为 Jev 风格模型及更广泛 LLM 的选择偏差评估提供了可复用的打乱呈现…