知识卡片：Data Analysis in the Wild: Benchmarking Large Language Models Against Real-World Data Complexities

英文关键词：Large Language Models；Benchmark；Data Analysis；Real-World；DataGovBench

一句话结论

当前大语言模型在真实世界数据分析场景中表现远未达到实用要求；新提出的DataGovBench基准揭示了显著性能差距。

事件概述或研究问题

现有用于评估大语言模型（LLM）数据分析能力的基准大多脱离真实场景——它们只关注从小表格中检索事实，忽视了大尺寸多表格数据集、外部知识整合以及探索性洞察发现等现实复杂问题。本文提出了DataGovBench，一个基于政府公开数据设计的基准，旨在评估LLM在实际场景中的表现。

方法/产品要点

• 数据来源：DataGovBench基于政府开放数据构建。
• 两项任务：
  • Table QA：要求模型解答复杂的、可分解的问题，并给出文本答案或可视化结果。
  • Table Insight：评估模型通过探索性数据分析生成专家级发现的能力。
• 评估对象：多种最新LLM，包括使用和不使用Agent框架的系统。
• 代码与样本数据：开源在 https://github.com/SoHasegawa/datagovbench。

主要结果或产业意义

• 在Table QA和Table Insight两项任务上，当前最先进的LLM均存在显著的性能差距。
• 结果表明，基于LLM的数据分析系统距离满足真实世界数据分析需求仍有较大距离。
• DataGovBench为提升LLM在分析查询与数据洞察发现方面的研究提供了一个具有挑战性的基准。

为什么重要

随着LLM被越来越多地用于辅助数据分析，缺乏能反映真实复杂场景的基准将阻碍技术落地。DataGovBench弥补了这一空白，能更准确地衡量模型在多元表格、外部知识整合和探索性发现等关键能力上的水平，对推动LLM走向实际商业和科研应用具有重要参考价值。

局限与不确定性

• 基准仅基于政府公开数据，是否完全代表其他领域（如金融、医疗）的真实数据复杂性尚待验证。
• 任务设计可能无法覆盖所有真实数据分析流程（如数据清洗、异常值处理等）。
• 实验中使用的LLM版本和Agent框架可能无法反映未来模型的能力提升。

可用于图书/PPT/简报的角度

• 对比角度：对比传统小表格基准（如WikiTableQuestions）与DataGovBench的差异，说明真实场景的复杂性。
• 可视化角度：展示Table QA任务中模型输出可视化与真实数据图表的质量差异。
• 故事线：从“LLM能否替代数据分析师？”切入，引出当前能力边界，再介绍DataGovBench作为未来提升的标尺。

原始材料

• arXiv 论文：Data Analysis in the Wild: Benchmarking Large Language Models Against Real-World Data Complexities，arXiv ID: 2607.06482v1，2026-07-07。
• 代码与样本数据：https://github.com/SoHasegawa/datagovbench