知识卡片：WorldCup Arena——现场赛事上对前沿大语言模型的前瞻性、无泄漏评估

一句话结论

WorldCup Arena 通过在 2026 年 FIFA 世界杯期间、每场比赛开球前让六款前沿大语言模型填写预测卡，构建了一个“构造上无泄漏”（leakage-free by construction）的前瞻性预测基准；结果显示模型预测表现与直接押注博彩公司热门基本持平，且模型之间相互一致的程度远高于其正确率。

事件概述或研究问题

现有衡量大语言模型预测能力的基准大多属于“回顾式”设计：事件已经发生、答案已存在于互联网上，评估必须额外防御模型记忆。本文报告了一种相反的设计：在 2026 年 FIFA 世界杯 39 天赛期内，六款前沿 LLM 在每场比赛开球前，一场一场地填写预测卡，覆盖全部 104 场比赛，外加 12 个小组出线队预测和赛前冠军池预测。由于提问时答案尚不存在，该评估不是靠事后过滤来避免泄漏，而是从构造上就无泄漏。

方法/产品要点

• 评估对象：六款前沿 LLM，均具备扩展思考（extended thinking）与原生服务端网页搜索能力。
• 预测任务：每场开球前填写“七市场”预测卡，覆盖 104 场比赛；另有 12 个小组出线队和赛前冠军池预测。
• 评估规模：冻结档案中包含 4,494 个已计分预测。
• 无泄漏设计：问题提出时答案不存在，因此无需依赖记忆过滤。
• 基准发布：简报档案、赛程、官方结果和计分代码一并发布。

主要结果或产业意义

• 在比赛结果预测上，六款模型平均准确率为 63.9%，与直接支持博彩公司热门的表现持平；而模型实际上通常正是选择热门。
• 系统之间彼此一致的程度远高于正确的程度，因此多数投票不会带来额外增益。
• 模型对平局和进球数“投入不足”，比分预测集中在一个单一的原型结果上。
• 预测准确度主要跟随比赛的悬殊程度，而非可获得的信息量：在实力最接近、档案资料最丰富的比赛中，准确度反而下降；而关于赛事整体的问题则回答得较好。
• 当前一代前沿系统在此任务上没有显著分化：排名高段和低段保持稳定，中段持续变动，但整体差距始终很窄。

为什么重要

大多数 LLM 预测评估都必须与“记忆”对抗，本文以前瞻性现场赛事构造了天然无泄漏的评估，提供了测量 LLM 真实预测能力的新范式。同时，它揭示了一个反直觉现象：资料越丰富、对阵越接近时，预测未必更好；预测难度更多来自比赛本身的实力悬殊程度。这为 LLM 预测能力评估和实际部署提供了方法论参考。

局限与不确定性

• 本文仅基于 arXiv 摘要，未给出六款模型的具体名称，待核实。
• 摘要未说明“七市场”具体包含哪些市场，待核实。
• 63.9% 准确率的具体计分口径和评分类别（如胜平负、让球、比分等）未说明，待核实。
• “与博彩公司热门持平”的对比基准具体如何构建，待核实。
• 摘要未提供模型个体结果和分模型统计细节，待核实。

可用于图书/PPT/简报的角度

• 用“世界杯预测”作为案例，说明传统 LLM 评估中的记忆污染问题，以及“前瞻性、无泄漏”的评估思路。
• 用具体数字（39 天、104 场比赛、4,494 个预测）展示评估规模。
• 用“模型之间共识高于正确率”“多数投票无效”等发现，讨论当前 LLM 的集体预测行为。
• 用于讲解评估方法论：从“事后过滤泄漏”转向“构造上无泄漏”。

与既有脉络的关系

与已有相关卡片无直接重复；本条为新增的“LLM 前瞻性评估”主题，提供评估基准和方法学上的增量信息。

原始材料

• 英文标题：WorldCup Arena: Prospective, Leakage-Free Evaluation of Frontier LLMs on a Live Tournament
• 英文关键词（据内容提取）：LLM forecasting; leakage-free evaluation; live tournament; frontier LLMs; WorldCup
• 作者：Zhenran Wang, Zhonghan Bian, Jinsong Li, Zhangyang Qi
• 发表于：arXiv:2608.04008v1，类别 cs.CL，提交/更新日期 2026-08-04
• 原始来源：https://arxiv.org/abs/2608.04008v1