知识卡片：语言模型的荷兰赌

英文标题：Dutch Books for Language Models
英文关键词：probabilistic coherence; Dutch book; de Finetti theorem; language model forecasts（原页面未单独列出关键词，此为根据摘要整理的英文关键词）
原始来源：https://arxiv.org/abs/2609.02797v1

一句话结论

论文摘要称，基于德·菲内蒂定理和线性规划构造的荷兰赌检验发现，语言模型的概率预测存在显著不连贯性：事件间的逻辑关系更丰富时，不连贯性增加；加入无关上下文细节可使不连贯性提高约一个数量级。

事件概述或研究问题

论文指出，人们越来越多地用语言模型支持生活决策，很多这类决策涉及概率预测，例如“重大人生事件、自然灾害或经济结果的可能性”。
用户可能默认这些预测来自一个连贯的世界模型。论文的研究问题是：语言模型的概率预测是否内部自洽？在结果尚未揭晓或无法观测时，能否评估这种自洽性？

方法/产品要点

研究基于德·菲内蒂（de Finetti）定理构建检验流程，使用股票收益数据生成事件，并要求语言模型对这些事件输出概率预测。
用线性规划计算“最大荷兰赌利润”（largest Dutch-book profit），即套利者针对模型给出的概率反向押注所能保证获得的利润；该利润被用作不连贯性的度量。
该方法不需要结果标签，因此可以评估那些结果尚未发生或无法观测的预测是否连贯。

主要结果或产业意义

摘要报告称，语言模型预测中存在“大量不连贯性证据”（substantial evidence of incoherence）。
当事件之间存在更丰富的逻辑关系时，不连贯性增大；无关上下文细节可能使不连贯性提高一个数量级。
论文最后讨论了替代训练策略可能改善概率连贯性的方向；具体机制和效果摘要未提供，待核实。
原文没有明确给出产业结论；可能的应用启示是，金融、风险管理、个人决策等对预测一致性敏感的LLM应用需要关注这类荷兰赌风险，但该推断待原文进一步验证。

为什么重要

已有相关卡片涉及的评测包括政府场景评估、水印访问控制、语音自然度，但尚未覆盖“概率预测是否自洽”这一层；本条补充了这一风险维度。
该测试不依赖真实结果标签，因此可用于评估尚未发生、不可观测或难以获得标签的事件预测。
结果显示，即使语言模型在事实性或任务基准上表现不错，其概率预测仍可能在数学意义上不自洽，不能简单视为“可信赖的世界模型”。

局限与不确定性

本卡片仅基于arXiv摘要/元数据，正文未抓取到；模型清单、数据集规模、具体荷兰赌利润数值、实验细节、是否经同行评审等均待核实。
研究中的事件由股票收益数据生成，结论是否适用于其他现实决策领域（如医疗、司法、自然灾害预测）待核实。
“替代训练策略可提升连贯性”只是论文结尾的讨论方向，摘要中未见实证检验。

可用于图书/PPT/简报的角度

用“荷兰赌”经典概念说明：一个概率判断系统若能被套利者稳定赚钱，就说明其概率体系不自洽。
突出“无需结果标签即可测评模型概率自洽性”的方法论价值。
引用“无关上下文细节使不连贯性提高一个数量级”来提醒用户：给LLM的提示加入不相关信息，可能明显降低预测判断质量。
将“概率连贯性”作为“事实性/诚实性/偏见”之外另一个值得关注的可信赖维度。

与既有脉络的关系

该卡片是大语言模型评估系列卡片的延续，切入点是概率预测的“荷兰赌不连贯性”。它不重复已有相关卡片中的政府评估、水印技术或语音自然度内容，而是强调LLM概率输出是否可被套利，这为评估模型可信度提供了新的增量视角。

原始材料

URL: https://arxiv.org/abs/2609.02797v1
说明：原网页正文未能抓取，以上信息均基于摘要与元数据整理；除“待核实”标注外，仍建议核对论文原文。