知识卡片：无金标准下的效度：陈述偏好经济学对语言模型评估的启示

一句话结论

当语言模型回答没有标准答案的问题时，可借鉴陈述偏好经济学的效度框架，用理论一致性与效度测试判断回答是否连贯，而不是判断其是否正确。

事件概述或研究问题

许多现在交给大语言模型的问题没有可对照评分的正确答案：一项政策值多少、用户应选择哪个选项、如何权衡相互竞争的价值。陈述偏好经济学已处理这类问题数十年：在不知道真实价值的情况下判断调查回答，使用内容效度、结构效度、标准效度、信度、激励相容、后果性等概念。作者主张，这一框架可作为评估语言模型的一般方法，并说明每个概念对 LLM 评估意味着什么。

方法/产品要点

• 使用一篇已发表的水质量陈述偏好经济估值调查（Vossler et al. 2023），将其施测于六个模型。
• 在该经济应用中，效度测试采取经济理论预测的形式：需求应向下倾斜；支付意愿应响应商品范围和收入。
• 框架包含多种效度与相关概念，如内容效度、结构效度、标准效度、信度、激励相容、后果性，以及可评分的理论效度和收敛效度等。
• 核心思路不是寻找“正确答案”，而是检验模型回答是否符合可检验的理论约束与效度标准。

主要结果或产业意义

• 这些效度测试将模型明显区分开。
• 在家庭收入 75,000 美元水平上，两个较旧模型未通过最基本测试。
• 两个最新模型通过了作者能够评分的所有理论效度测试，但在收敛效度上出现分歧。
• 摘要未说明六个模型中另外两个模型的具体表现，待核实。
• 通过效度测试只表明模型回答具有连贯性，并不表明回答正确。
• 产业意义：为缺少金标准的 LLM 评估场景提供一种框架，但不能等同于事实正确性或规范性正确的认证。

为什么重要

• 许多高价值 LLM 应用没有单一正确答案，传统准确率或金标准评估不足以覆盖这些任务。
• 该路径把评估从“是否答对”转向“回答是否符合可检验的效度与理论约束”，可用于审计模型在政策偏好、价值取舍、用户选择建议等任务中的一致性。
• 与既有脉络的关系：本条延续“无需金标准评估”的问题意识，但不同于依赖数据分布性质的非人类序列依存句法分析；也与“LLM 可预测社会科学实验结果”同属 LLM 与社会科学/经济评估的交集，但本条侧重评估模型自身答案的效度，而非预测人类实验效应量。增量信息是引入陈述偏好经济学的效度框架，并在水质量陈述偏好调查上测试六个模型。

局限与不确定性

• 以上内容仅依据 arXiv 摘要页和摘要，未获取全文；模型名称、完整实验设置、六个模型中另外两个模型的表现、具体统计检验、提示设计、重复次数等均待核实。
• 演示仅来自一项水质量陈述偏好经济估值调查，能否推广到其他领域和任务类型待核实。
• 作者明确指出，通过效度测试不等于答案正确；该框架能识别不一致或不符合理论预测的回答，但不能保证事实真实或规范正确。
• 所给材料未单列独立英文关键词；下述英文关键词为据标题、摘要和分类整理，非作者列出的关键词。

可用于图书/PPT/简报的角度

• “没有正确答案时，如何评估语言模型？”：从金标准转向效度框架。
• 跨学科方法迁移：陈述偏好经济学如何为 LLM 评估提供工具。
• 用经济学理论预测作为测试：需求向下、支付意愿响应商品范围和收入。
• 效度 ≠ 正确性：连贯回答仍可能错误。
• 模型代际差异与收敛效度分歧：新旧模型在理论效度上的表现差异。

原始材料

• 英文标题：Validity Without Ground Truth: What Stated-Preference Economics Offers the Evaluation of Language Models
• 作者：Daniel Robert Kling Alexander, Catherine Louise Kling
• arXiv ID：2610.10506v1
• 发布/更新：2026-10-07T17:51:07Z
• 主分类：cs.AI；分类：cs.AI, cs.CL, econ.GN
• Track：academic；Topics：foundation-model
• 摘要页 URL：https://arxiv.org/abs/2610.10506v1
• PDF URL：https://arxiv.org/pdf/2610.10506v1
• 英文关键词：所给材料未单列；可参考术语：validity without ground truth; stated-preference economics; language model evaluation; content validity; construct validity; criterion validity; reliability; incentive compatibility; consequentiality; theoretical validity; convergent validity