知识卡片：理解 Jev 风格 System One 模型：结构能减少选择偏差吗？

一句话结论

该研究用“打乱选项顺序、保持题目与候选内容不变”的测试发现：Jev 风格 System One 模型虽然在重复呈现下准确率稳定（波动小于 2 个百分点），但其累计失败集合相对原始顺序扩大 27–29%，且并不比生成式 LLM 基线更能保持正确选择，说明“可重复的准确率”不等于“对选择偏差的鲁棒性”。

事件概述或研究问题

• 背景：大语言模型（LLM）存在选择偏差，即使被指示忽略呈现顺序或使用推理提示，偏差仍可能持续。
• 近期出现一批复现 Jev 风格 System One 行为的模型，它们直接对给定候选预测概率。
• 研究问题：Jev 风格决策结构是否能减少多选项任务中的选择偏差？
• 现有空白：跨 Jev 版本、Jev 复现模型与生成式 LLM 的系统性选择偏差比较仍然有限。

方法/产品要点

• 测试设计：打乱选项顺序，同时保持问题与候选内容固定。
• 对比对象：2 个 Jev 版本、12 个 Jev 复现模型、6 个生成式 LLM。
• 追踪方式：对单个答案在 8 种呈现方式下进行追踪，并与固定顺序重复呈现作对比。
• 主要数据集：来自两个基准的 1,700 道题（主收集集）。

主要结果或产业意义

• Jev 的准确率在不同呈现下变化小于 2 个百分点。
• 但相对原始顺序，Jev 的累计失败集合扩大 27–29%，且首次失败持续到最终呈现。
• 这种“初始成功丢失”显著大于固定顺序重复下的情况，即使对高度可重复的 Jev 复现模型也是如此。
• Jev 在保持正确选择方面，相对 LLM 基线并无普遍优势。
• 聚合保护有限：投票对 Jev 仅带来 modest 增益；即便答案一致（unanimous），也经常是错误的。
• 产业意义：仅凭稳定准确率不能证明模型抵抗选择偏差；评估需加入等价呈现下的一致性检验。

为什么重要

• 揭示了“可重复决策”与“跨等价呈现仍正确决策”之间的差距。
• 对依赖选项顺序稳定的评测与部署提出警示：准确率稳定可能掩盖选择偏差导致的失败扩散。
• 为 Jev 风格模型及更广泛 LLM 的选择偏差评估提供了可复用的打乱呈现测试思路。
• 与既有卡片的关系：本卡片聚焦多选项任务中的选择偏差与呈现顺序鲁棒性，补充了“稳定准确率≠无偏差”的评估视角；与“重采样还是重路由”卡片同属测试时决策质量话题，但关注点不同（前者为顺序偏差，后者为预算分配）。

局限与不确定性

• 主收集集为两个基准的 1,700 道题，基准名称与具体任务类型在摘要中未说明，待核实。
• “Jev 风格 System One 模型”的具体定义与结构细节在摘要中未展开，待核实。
• 投票增益的“modest”程度、一致答案错误率的具体数值未在摘要中给出，待核实。
• 8 种呈现方式的具体构造与统计口径未在摘要中详述，待核实。
• 结论主要基于摘要所述实验，完整论文中的消融与泛化分析待核实。

可用于图书/PPT/简报的角度

• “准确率稳定≠没有选择偏差”：用打乱选项顺序的简单测试揭示失败集合扩张。
• 评估 LLM 决策鲁棒性时，应区分“重复一致性”与“等价呈现一致性”。
• Jev 风格 System One 结构并未自动带来选择偏差优势，聚合（投票）也不是万能解。
• 提示：即使答案一致也可能错误， unanimity 不等于正确性。

原始材料

• 标题：Understanding Jev-Style System One Models: Does Structure Reduce Selection Bias?
• 作者：Mingyang Song, Mao Zheng, Zhiyuan Ma, Xinpeng Zhou
• arXiv ID：2610.35826v1
• 发布/更新：2026-10-26T17:48:55Z
• 主分类：cs.CL；分类：cs.CL
• Abstract URL：https://arxiv.org/abs/2610.35826v1
• PDF URL：https://arxiv.org/pdf/2610.35826v1
• 关键词：selection bias; Jev-style System One models; LLM; option shuffling; presentation order; aggregation; voting