知识卡片：语言模型能玩维基百科游戏吗？

一句话结论

研究者用“维基百科游戏”（仅通过文章链接到达目标条目）作为信息检索基准，测试句子嵌入模型与 LLM 在五种维基百科语言和五个学术文献数据集上的导航能力；没有模型显著超越人类，但顶尖模型（GPT-o3 mini、GPT-4o、QwQ:32B、DeepSeek-R1:70B）达到了与人类相当的成功率。

事件概述或研究问题

• 语言模型越来越多地被用于支持或自动化从大到无法建立索引的文档集合中进行信息检索。
• 当检索任务需要专业语言或科学知识时，这一任务尤其困难。
• 研究问题是：语言模型能否在一种类似的信息检索任务——“维基百科游戏”中有效导航？即玩家必须仅使用文章链接到达目标文章。

方法/产品要点

• 使用“维基百科游戏”形式作为测试语言模型信息检索能力的类比任务。
• 比较对象包括句子嵌入模型和LLM。
• 覆盖面：五种维基百科语言与五个学术文献数据集。
• 构建了非常大的本地维基百科页面图，以及基于 OpenAlex 的论文引用图，并提供构建与导航这些图的代码。
• 该设计使研究无需依赖第三方 API 即可考察语言模型的导航能力。
• 对比基准包括人类和 TF-IDF。

主要结果或产业意义

• 没有模型显著优于人类。
• 表现最好的模型（GPT-o3 mini、GPT-4o、QwQ:32B、DeepSeek-R1:70B）取得了与人类相当的成功率。
• 模型性能与排名在不同语言和主题之间存在差异。
• 作者认为，这些差异对使用此类技术的从业者具有启示意义。
• “维基百科游戏”格式支持在不同技术、语言和领域之间进行稳健比较。

为什么重要

• 为“语言模型是否能胜任大规模、无索引文档集合中的导航式检索”提供了一个可复现、跨语言、跨领域的评测框架。
• 通过自建本地图与开源代码，降低了对外部 API 的依赖，便于后续研究复现与扩展。
• 指出模型目前尚未在导航任务上稳定超越人类，提示在专业检索场景中部署此类技术时需谨慎评估语言与主题差异。

局限与不确定性

• 无法从现有材料确认模型与人类在具体成功率数值、统计显著性细节上的差异，待核实。
• 无法确认“五种维基百科语言”和“五个学术文献数据集”的具体清单，待核实。
• 无法确认人类基准的参与者规模与实验设置，待核实。
• 无法确认模型在不同语言/主题上排名差异的具体方向与原因，待核实。
• 无法确认本地图构建的规模、存储与计算开销，待核实。

可用于图书/PPT/简报的角度

• “没有模型显著超越人类”：LLM 在导航式检索上仍与人类持平，而非碾压。
• 跨语言与跨主题性能波动：同一模型在不同语言/领域表现不一致，提示“通用检索能力”仍需分场景验证。
• 自建本地图 + 开源代码：一个不依赖第三方 API 的可复现评测范式。
• 从“索引检索”到“链接导航”：信息检索任务形态的变化及其对模型能力的新要求。
• 顶尖模型名单（GPT-o3 mini、GPT-4o、QwQ:32B、DeepSeek-R1:70B）作为“与人类相当”的参照组，可用于对比不同模型家族。

原始材料

• 标题：Can Language Models Play the Wikipedia Game?
• arXiv ID：2610.13948v1
• 作者：Alexander Hickey, Joanna Knight, James Bishop
• 发布时间：2026-10-09T17:59:56Z
• 主要分类：cs.AI；分类：cs.AI, cs.IR
• Abstract URL：https://arxiv.org/abs/2610.13948v1
• PDF URL：https://arxiv.org/pdf/2610.13948v1
• 关键词（英文）：language models, information retrieval, Wikipedia Game, sentence embeddings, OpenAlex, TF-IDF, navigation