知识卡片：CausalArena：基础模型时代的因果发现基准评测

一句话结论

CausalArena 是一个统一且可演化的因果发现基准，其跨多种 SCM 家族与协议的实验表明：经典、神经及预训练方法在不同基准制度下的排名会显著变化，单一合成基准上的强表现无法可靠迁移；同时，预训练环境与测试 SCM 的重叠是基础模型时代评估因果发现的核心难题之一。

事件概述或研究问题

因果发现（causal discovery）旨在从数据中揭示因果结构，是科学推理和基于干预的决策的基础。其评估高度依赖结构因果模型（SCMs）——SCM 同时指定一个因果图和生成数据的机制。然而，现有研究在图族、机制和评估协议上差异很大，结果难以横向比较。

因果发现基础模型（Causal Discovery Foundation Models, CDFMs）的出现进一步加剧了评估困难：模型表现可能不仅反映其因果发现能力，还反映预训练环境与测试 SCM 之间的重叠。这使得固定合成基准上的结果尤其难以解释。

方法/产品要点

CausalArena 被提出为一个在共同协议下运行的统一且可演化的因果发现基准，包含四类评测环境：

• 合成 SCM：在结构和机制上提供受控的广度。
• 语义操作 SCM：提供人类可审计、语义接地的环境，超越标准合成生成器。
• 公式接地的 SCM：在显式科学机制下测试因果发现能力。
• 公共真实世界数据集：提供额外的外部效度检查。

主要结果或产业意义

实验覆盖经典、神经和预训练方法，结果显示：

• 不同 SCM 家族和协议之间存在显著的排名变化。
• 在一个基准制度中表现强劲，不能可靠迁移到其他制度。
• 作者据此指出，基准多样性和预训练—评估重叠是基础模型时代评估因果发现的两大核心挑战。

为什么重要

如果因果发现方法的评估只依赖固定的合成基准，可能高估或误判其真实能力。预训练—评估重叠意味着基础模型的评测结果可能被“记忆”或环境相似性污染，而非真正反映因果发现能力。CausalArena 的可演化设计指向一种更稳健的评估范式：用多样化的 SCM 家族和协议组合来约束结论，而非依赖单一排行榜。

与既有相关卡片《Data Analysis in the Wild: Benchmarking Large Language Models Against Real-World Data Complexities》类似，本条同样关注“基准评测与真实能力之间的落差”，但聚焦因果发现这一特定领域，并额外强调预训练—测试重叠对基础模型评测的干扰。

局限与不确定性

• 论文摘要未提供具体实验数量、数据集规模、评价指标、基线方法清单等细节——待核实。
• 论文的同行评审状态、代码与数据是否公开——待核实。
• 摘要中未给出各方法在各类 SCM 上的具体数值排名——待核实。
• 作者列表与发表信息来自 arXiv 页面；论文后续是否更新或修订——待核实。

可用于图书/PPT/简报的角度

• 因果发现领域从“单一基准”向“基准组合/可演化基准”演进的趋势。
• 基础模型时代评测的共性难题：预训练—测试环境重叠如何扭曲结论。
• 如何设计可演化基准来应对模型能力的快速变化。
• 跨 SCM 家族排名漂移的案例，可用来说明“排行榜不等于能力”。

原始材料

• 英文标题：CausalArena: Benchmarking Causal Discovery in the Foundation Model Era
• 英文关键词：Causal Discovery, Benchmark, Structural Causal Models (SCMs), Causal Discovery Foundation Models (CDFMs), Pretraining-Evaluation Overlap
• arXiv ID：2609.11897v1
• 作者：Zi-Rong Li, Si-Yang Liu, Tian-Zuo Wang, Han-Jia Ye
• 发布/更新：2026-09-10T17:53:15Z
• 主分类：cs.LG
• 摘要页：https://arxiv.org/abs/2609.11897v1
• PDF：https://arxiv.org/pdf/2609.11897v1