知识卡片：在维基百科摘要上玩 log(N)-Questions：成对前沿模型之间的通信效率

英文标题：Playing log(N)-Questions over Wikipedia Abstracts: Communication Efficiency Between Paired Frontier Models
英文关键词：log(N)-Questions; Wikipedia Abstracts; Communication Efficiency; Paired Frontier Models; Information Asymmetry（材料未提供作者关键词列表；这些为从标题与摘要提取的英文术语，是否为正式关键词待核实）

一句话结论

在双智能体 log(N)-Questions 游戏中，除 Claude Opus 5 明显落后外，五个前沿模型表现接近；随文档集合增大，胜率按单一每轮可靠性参数衰减，且每问题信息量与胜率相关，而推理 token 开销与成功关系不大。

事件概述或研究问题

该研究评估六个前沿语言模型在双智能体 log(N)-Questions 游戏中的通信效率。提问者看到 N 个 Wikipedia lead paragraphs，必须用恰好 log₂ N 个是/否问题找出秘密目标；回答者只看到目标与问题，并用一个词回答。两个角色运行在同一提供方上，因此该游戏衡量的是一个模型在信息不对称下与自身沟通的能力。

实验共运行 408 局，文档集合规模从 4 到 1024 个段落，总 API 成本为 363 美元。

方法/产品要点

• 双智能体设定：提问者仅见 N 个维基百科导语段落，回答者仅见秘密目标与问题。
• 通信约束：必须使用恰好 log₂ N 个是/否问题；回答为一个词。
• 评测目标：同源模型自配对时的通信效率，而非单模型问答准确率。
• 模型：Claude Opus 5、GLM-5.3、GPT-5.6 Sol、Grok 4.6、Gemini 3.8 Flash、Kimi K3。
• 指标包括：胜率、回答错误与区分失败、由答案平衡估计的每问题信息量、推理 token 支出、是否按文档标题划分候选集。
• 规模：408 局游戏，N 从 4 到 1024，总成本 363 美元。

主要结果或产业意义

• Claude Opus 5 明显落后：在 68 局中胜 28 局；其余五个模型的胜场数为 45 到 56。除该模型外，领先五个模型仅边际可分。
• 汇总领先五个模型后，胜率随集合规模增大而下降，相关系数 r=-0.973，并可由单一每轮可靠性参数拟合：win = p^{log₂ N}，其中 p=0.928。
• 失败大致等分为回答错误与区分失败；模型几乎不会命名自身证据所排除的文档。
• 对最弱模型的每一个一致答案错误都做了检查：34 个中有 32 个是对文档第一句所述属性的“No”回答，而指令明确警告不要默认回答“No”。
• 由答案平衡估计的每问题信息量与胜率相关，r=+0.88。
• 只有两个模型能提取每问题完整 1 bit，也只有这两个模型按文档标题进行划分；该策略在 N<32 时缺失，在 N>32 时用于约四分之一的问题。
• 推理 token 支出跨模型相差 4.5 倍，但与成功关系不大；推理轨迹随着候选集缩小而增长，可靠性却没有相应提升。

为什么重要

这条工作把前沿模型评测从单模型能力转向“同源模型在信息不对称下能否有效通信”。它显示，成功更关联每问题信息量与提问策略，而非单纯增加推理 token。对智能体、多轮协作和通信压缩等场景，log(N)-Questions 可作为一个信息论式的压力测试。

与既有脉络的关系：本条与已提供卡片中的知识蒸馏、量子生成模型、PlayWorld 没有同一事实重复；增量信息在于，它提供了一个成对前沿模型通信效率评测，并给出了规模衰减形式 win = p^{log₂ N} 与每问题信息量相关结果。

局限与不确定性

• 目前仅基于 arXiv 摘要页与摘要文本，未见全文；实验细节、提示词、评分规则、统计显著性与置信区间均待核实。
• 英文关键词列表在材料中未提供，是否为作者正式关键词待核实。
• 各模型的具体局数分布、每个 N 值的样本数、成本明细、随机种子与 API 配置未在材料中说明；待核实。
• win = p^{log₂ N} 的拟合优度、p=0.928 的估计误差，以及 r=-0.973 和 r=+0.88 的样本单位未提供；待核实。
• 按文档标题划分与成功之间可能只是相关，不能仅凭材料确认因果关系；待核实。
• 两个角色运行在同一提供方上，衡量的是自配对通信；跨模型、跨提供方的通信是否类似，材料未说明。
• 论文是否经过同行评审、代码与数据是否公开，材料未说明；待核实。

可用于图书/PPT/简报的角度

• 用 log(N)-Questions 作为“信息论通信压力测试”的案例，说明 AI 协作中的提问与回答瓶颈。
• 对比“更多推理 token”与“更高每问题信息量”：前者跨模型相差 4.5 倍但关系不大，后者与胜率相关 r=+0.88。
• 展示规模衰减：win = p^{log₂ N}，p=0.928，说明集合越大通信可靠性越重要。
• 讨论策略分化：按文档标题划分候选集，可能是提取完整 1 bit 的关键策略之一。
• 分析回答者偏差：最弱模型的 34 个一致答案错误中 32 个是“No”，即使指令警告不要默认“No”。
• 作为前沿模型评测设计案例：同源模型自配对、信息不对称、固定问题预算。

原始材料

英文标题：Playing log(N)-Questions over Wikipedia Abstracts: Communication Efficiency Between Paired Frontier Models
英文关键词：log(N)-Questions; Wikipedia Abstracts; Communication Efficiency; Paired Frontier Models; Information Asymmetry（材料未提供正式关键词列表，待核实）
原始来源：

• arXiv ID：2609.19113v1
• 作者：Peter Potash
• 发布：2026-09-16T17:41:12Z
• 更新：2026-09-16T17:41:12Z
• 主分类：cs.CL
• 分类：cs.CL
• Abstract URL：https://arxiv.org/abs/2609.19113v1
• PDF URL：https://arxiv.org/pdf/2609.19113v1
• 材料范围：arXiv 摘要页、标题、作者、分类、日期与摘要文本；未见全文。