知识卡片：PhysCount：多模态大模型是在数“视觉表象”还是“物理实体”？

一句话结论

PhysCount 是一个专门区分“数可见表象”与“数物理实体”的多模态计数基准，40 个 MLLM 在其上的表现显示：模型能较好枚举可见出现，却难以把同一实体的多次出现（反射、玻璃透视等）归并为正确实体数，最强模型也仅在 13.36% 的题目组中全部答对。

事件概述或研究问题

图像呈现的是“表象”（appearances），而计数问题通常问的是“物理对象”。同一实体可能被直接看到、在多个反射中出现、或透过玻璃被看到，因此检测到所有可见出现并不能确定场景中有多少个实体。现有视觉计数基准很少把这两种操作分开评估。PhysCount 即为评估 MLLM 能否区分“图像中可见之物”与“场景中物理存在之物”而构建。

方法/产品要点

• 数据规模：546 张真实世界图像，4,595 道人工撰写问题，组织为 651 个“目标特定组”（target-specific groups）。
• 标注方式：对每个组，标注者定位相关表象、标注每个表象的观察方式（如直接观察、反射、透过玻璃等），并识别哪些表象属于同一实体。
• 四类互补问题族：表象枚举、物理实体枚举、特定成像方式计数、表象—实体对应关系。
• 评估指标：既测各问题族的准确率，也测“整组全部答对”的组比例。
• 模型覆盖：评测了 40 个 MLLM。

主要结果或产业意义

• 计数可见表象显著易于恢复连接这些表象的实体身份。
• 即使最强模型，也仅在 13.36% 的组中做到所有问题全部正确。
• 当单一实体产生大量表象、或表象跨越不同观察方式时，性能下降。
• 提高图像分辨率能改善对视觉证据的获取，但对“整组全对”准确率提升有限；而联合回答相关问题（jointly answering related questions）带来明显提升。
• 这些结果揭示了“识别可见之物”与“正确恢复其背后物理实体”之间的能力差距。

为什么重要

该工作把计数任务中的两个常被混同的操作显式拆开，提供了可诊断 MLLM 物理常识与身份归并能力的评测工具。其“整组全对”指标与跨观察方式的表现下降，提示当前模型在需要跨反射/折射等成像线索做实体去重时存在系统性短板；联合回答相关问题的增益则指向推理时的结构化问答策略可能比单纯提升分辨率更有效。与既有的 Game2Real-Bench（关注游戏到真实世界的推理迁移）不同，本条聚焦于“表象 vs 实体”的计数语义区分，属于视觉计数与物理推理交叉的新评测维度。

局限与不确定性

• 数据规模（546 图 / 651 组）相对有限，基准覆盖面与统计稳健性待核实。
• “联合回答相关问题”的具体实现方式与提升幅度数值，摘要未给出，待核实。
• 40 个 MLLM 的具体名单、各问题族的分项准确率数值，待核实。
• 标注者一致性、问题难度分布等基准质量细节，待核实。

可用于图书/PPT/简报的角度

• 用“镜中多次反射的同一物体”插图说明“表象数 ≠ 实体数”，引出多模态模型的计数盲区。
• 以 13.36% 的整组全对率作为“看似会数、实则未懂物理场景”的醒目标据。
• 对比“提升分辨率收益有限”与“联合问答收益明显”，讨论推理策略优于感知投入的启示。
• 把四类问题族作为分析框架，讲解计数任务的能力分解（枚举、归并、成像方式、对应关系）。

原始材料

• 标题：PhysCount: Do MLLMs Count Visual Appearances or Physical Entities?
• 作者：Lidong Lu, Jiaxin Lv, Liangrui Dong, Xinyi Mao, Lidong Zou, Zhenquan Li, Tong Lu, Guo Chen
• arXiv ID：2610.40530v1（cs.CV）
• 发布/更新：2026-10-29T17:33:34Z
• 摘要页：https://arxiv.org/abs/2610.40530v1
• PDF：https://arxiv.org/pdf/2610.40530v1