知识卡片：QuranicMMLU：面向古兰经语言知识的认知感知生成式AI基准

英文标题：QuranicMMLU: A Cognitively-Aware Benchmark for Evaluating Generative AI Solutions on Quranic Linguistic Knowledge

一句话结论

QuranicMMLU 是一个面向古兰经阿拉伯语语言知识的认知感知基准：它用五支柱分类、Bloom 认知层级和经文难度分层构造 980 道人工审核题，并以开放式与多项选择双形式评测 12 个系统；结果显示多项选择准确率平均 84% 高于开放式答案质量平均 60%，说明选择题评分可能掩盖模型失败。

事件概述或研究问题

现有古兰经基准多聚焦通用问答和语义检索，未探测特定语言能力，也未按认知需求和经文难度分层。本文提出 QuranicMMLU，旨在为生成式 AI 在古兰经阿拉伯语语言知识上的表现提供一个更严谨、以语言学为基础的评价框架。

方法/产品要点

• 构建五支柱古兰经分类法：Phonology、Morphology、Syntax、Semantics、Pragmatics。
• 该分类法包含 31 个叶节点，覆盖从 tajwīd、root-and-pattern morphology 到 occasions of revelation、inter-surah coherence 等现象。
• 对每个叶节点生成问题，并按 Bloom 认知层级和 verse perplexity 进行分层。
• 使用 LLM as a judge 独立回答并给每个条目打分，再将标注路由到人工审核。
• 最终数据集包含 980 道经人工审核的问题，每个问题同时以开放式和多项选择形式发布。
• 在 12 个系统上进行基准测试。具体系统清单、模型版本和伊斯兰专用模型名称待核实。

主要结果或产业意义

• 材料称伊斯兰专用模型领先；其具体名称待核实。
• 所有系统在多项选择准确率上平均为 84%，高于开放式答案质量的平均 60%。
• 两种评测形式给出的排名高度一致（Kendall's τ=0.73）。
• 多项选择评分掩盖了移除选项后才暴露的失败。
• 产业意义：为古兰经领域的阿拉伯语 NLP 提供语言学分层的评测框架，并提示仅依赖选择题可能高估生成式 AI 的实际答案质量。具体产业采用与基准维护情况待核实。

为什么重要

• 它将生成式 AI 评估从通用问答/检索推进到宗教文本中的具体语言知识能力，并显式引入认知需求与经文难度分层。
• 它强调开放式生成与多项选择之间的差距，对基准设计、模型选型和风险沟通都有参考价值。
• 与已有相关卡片中的 URSA、UniClawBench 等同属“生成式 AI 基准/评估”脉络；本条增量在于领域为古兰经阿拉伯语语言知识，且突出认知分层与选择题/开放式差异，不重复化学逆合成、图像检测或主动智能体卡片中的事实。

局限与不确定性

• 当前来源为 arXiv 摘要与元数据，全文中的方法细节、实验表格和错误分析待核实。
• 12 个系统的具体清单、伊斯兰专用模型名称、各系统分项得分、统计显著性待核实。
• LLM as a judge 与人工审核的一致性、人工审核协议、标注者背景、数据公开方式、许可和可复现性待核实。
• 平均 84% 与平均 60% 的指标定义、聚合方式和置信区间待核实。
• 来源标注发布时间为 2026-09-18T17:30:27Z，与 arXiv 正式记录、版本状态及同行评审状态的一致性待核实。
• 基准自身的局限、偏见、宗教解释风险和伦理考量未在材料中展开，待核实。

可用于图书/PPT/简报的角度

• “不要只看选择题”：从多项选择准确率到开放式答案质量的评估差异。
• 领域知识基准设计：语言学子领域、Bloom 认知层级与文本难度分层如何结合。
• 宗教/古兰经 AI 的评估流程：LLM-as-judge 加人工复核的混合标注范式。
• 领域专用模型与通用模型在阿拉伯语/古兰经语言任务上的对比案例；具体模型名待核实。
• 生成式 AI 基准如何避免因评分形式而掩盖失败。

原始材料

• 英文标题：QuranicMMLU: A Cognitively-Aware Benchmark for Evaluating Generative AI Solutions on Quranic Linguistic Knowledge
• 英文关键词（据标题/摘要提取，非来源官方关键词）：QuranicMMLU; Quranic Arabic; generative AI; benchmark; linguistic knowledge; cognitively-aware; Bloom's cognitive level; verse perplexity; multiple-choice; open-ended
• arXiv ID：2609.22038v1
• 作者：Rawan El Ghali, Umm Kulsoom, Anas Madkoor, Dima Faris Alsaudi, Roaa Abdelmagid, Roaa Ibrahim, Raghad Mousa, Hamza Aljaji, Abdullah Khanafer, Abdallah Alkanani, Salah Feras Alali, Rawan Khaled Mohamed, Ehsaneddin Asgari
• 发布时间：2026-09-18T17:30:27Z
• 更新时间：2026-09-18T17:30:27Z
• 主分类：cs.CL
• 分类：cs.CL
• 期刊引用：Arabic NLP 2026
• 摘要页：https://arxiv.org/abs/2609.22038v1
• PDF：https://arxiv.org/pdf/2609.22038v1