知识卡片：Grid-Bench——大语言模型能否预测离散世界的变化？

一句话结论

Grid-Bench 是一个可执行基准，用二维、三维、四维网格上的八类空间操作序列，检验大语言模型能否根据初始状态、显式规则和文本事件历史，预测离散世界的完整最终状态；评测显示，随着历史变长，模型对完整状态的准确率急剧下降。

事件概述或研究问题

空间指令描述如何移动物体、变换区域或修改周边环境。多个操作按顺序施加时，每个操作都作用于由先前变化塑造的配置。论文提出的核心问题是：大语言模型（LLMs）能多准确地预测由此产生的空间状态？为此作者构建了 Grid-Bench，让模型在给定初始网格、显式规则和以文本表达的事件历史后，输出完整的最终网格。

方法/产品要点

• 可执行基准：模型预测的每个网格值都可与参考执行结果逐一核对，从而支持跨空间操作、历史长度和工作负载的比较。
• 离散世界表示：世界以二维、三维和四维网格表示。
• 八类操作家族：变换由八类操作构成（具体操作清单待核实）。
• 输入与输出：输入为初始网格、显式规则和文本形式的事件历史；输出为完整的最终网格。
• 评测规模：评估了六个 LLM（模型名单待核实）。

主要结果或产业意义

• 随着历史增长，完整状态准确率急剧下降。
• 在单事件上表现相近的模型之间，随历史变长出现显著分化。
• 精确匹配准确率相近的模型，在相同实例上的错误单元格数量可能差异很大。
• 即使历史很长，部分模型仍能恢复出许多正确变化，超出“直接复制初始状态”所能得到的水平。
• Grid-Bench 使“完整恢复”以及“返回状态之间的差异”在多类空间条件下可直接测量。

为什么重要

该基准把多步空间状态推演从模糊的整体判断，转化为可逐格核验的定量测量；它揭示出单步表现相近并不代表多步推演能力相近，精确匹配率也可能掩盖错误规模的差异。这为评估 LLM 在序列化空间操作下的状态跟踪与推演能力提供了可复现的测量工具。

局限与不确定性

• 论文摘要未说明六个被评估模型的具体名单，待核实。
• 八类操作家族的具体定义与维度设置细节，待核实。
• 摘要未给出具体准确率数值、历史长度范围和数据集规模，待核实。
• 基准仅覆盖网格化离散世界，向更复杂或连续空间的推广性待核实。

可用于图书/PPT/简报的角度

• “单步会做、多步就乱”：用历史长度增长下的准确率骤降说明序列空间推演的难度。
• “精确匹配率的盲区”：相同准确率下错误单元格数量的差异，说明单一指标不足以刻画模型能力。
• “可执行基准”的方法论价值：逐值可核验的评测设计如何提升空间推理评估的可信度。
• “复制初始状态的基线”：模型在长历史下仍能恢复部分正确变化，可用于讨论模型是否真正在执行规则而非走捷径。

与既有脉络的关系

与 SCILAWS-BENCH 关注“科学定律发现”、Plan-Bench 关注具身世界高层规划不同，Grid-Bench 聚焦离散网格上多步空间操作后的完整状态预测，并以逐格可核验的方式测量状态恢复精度；它补充的是“序列空间状态推演”这一评测维度，而非定律归纳或动作规划本身。

原始材料

• 标题：Grid-Bench: Can LLMs Predict How Discrete Worlds Change?
• arXiv ID：2610.22312v1
• 链接：https://arxiv.org/abs/2610.22312v1
• PDF：https://arxiv.org/pdf/2610.22312v1
• 分类：cs.CL
• 发布/更新：2026-10-15T17:50:57Z