知识卡片：缺失的最小对：大语言模型中的刻板印象评估

注：未能抓取论文正文；以下内容主要依据来源元数据与候选摘要整理。除候选摘要和元数据外，具体定义、实验与结论均需标注“待核实”。

一句话结论

据候选摘要，论文主张常见的“单最小对”log-likelihood 比较不足以可靠测量大语言模型中的刻板印象，并提出“双最小对”设置、数据增强框架与两种评估指标；其中一种指标基于社会群体与刻板属性之间的互信息（MI），以支持更稳健的跨语言、跨模型比较。正文未抓取，具体定义、实验与结论强度待核实。

事件概述或研究问题

• 英文标题：The Missing Minimal Pair: Stereotype Evaluation in LLMs。
• 研究问题：如何评估 LLM 中的刻板印象与偏见？
• 候选摘要指出，常见方法是比较两个对比刻板印象句子的 log-likelihood；作者认为此类单对比较常不可靠：用替代属性重写同一刻板印象，可能产生逻辑不一致的偏好。
• 论文提出的方向：使用 dual minimal pair setup 引入两个比较轴，以进行更稳健的刻板印象评估。
• 待核实：论文对“不可靠”的形式化定义、实验设计、样本范围与统计标准。

方法/产品要点

• 数据增强框架：据候选摘要，用于填补现有刻板印象数据集的关键缺口，生成 paraphrases 与 alternate attributes；应用于英语、俄语、西班牙语和中文的刻板印象。数据来源、规模、生成模型、人工校验流程待核实。
• 双最小对设置：引入两个比较轴。两轴的具体含义、构造方式、如何避免逻辑不一致，待核实。
• 评估指标：提出两种适配双最小对设置的指标；其一通过建模社会群体与刻板属性之间的互信息（MI）来提供偏见评估新视角。公式、聚合方式、与基线指标的比较，待核实。
• 代码：https://github.com/stepanat/missing-minimal-pair/。可用性、许可、复现说明待核实。

主要结果或产业意义

• 据候选摘要，MI-based metric 更适合聚合，并能更稳健地比较不同语言和模型中的刻板印象强度。
• 若该主张经正文与复现验证，可能用于多语言模型安全评估、红队测试、偏见基准构建与模型选型。
• 待核实：具体模型、语言内/跨语言结果、指标数值、统计显著性、是否优于既有方法。

为什么重要

• 偏见评估若依赖不稳定的单句对 log-likelihood 比较，可能导致模型排名或安全结论随改写、属性替换而改变。双最小对与 MI 聚合思路若成立，可能提升评估的稳健性和可比性。
• 与既有卡片的关系：本卡片聚焦 LLM 偏见评估方法，不重复“超级权重与选择性训练失败”“量化效应统计特征”“非人类序列依存句法分析可行性”等已记录事实；若后续正文可核验，可作为“LLM 评估与安全测量”脉络的增量。

局限与不确定性

• 未能抓取正文，所有具体数据集、模型、指标公式、实验数值、图表结论均待核实。
• 候选摘要可能不完整，或仅代表作者主张，不能视为已复现事实。
• arXiv 版本状态、发布日期、同行评审状态待核实。
• 多语言覆盖仅从候选摘要见英语、俄语、西班牙语、中文；其他语言、社会群体维度与交叉偏见待核实。
• MI 指标是否真能跨语言、跨模型稳健比较，需要正文、代码与独立复现验证。

可用于图书/PPT/简报的角度

• 从“最小对”到“双最小对”：为什么偏见评估不能只看两个句子。
• 互信息作为刻板印象强度聚合指标：跨语言与跨模型比较的新视角。
• 多语言刻板印象数据缺口：释义与替代属性增强。
• 评估稳健性：改写、属性替换与逻辑一致性。
• 模型安全与伦理：评估指标如何影响模型选择、部署与本地化。
• 以上角度均基于候选摘要，具体案例与证据待核实。

原始材料

• 原始来源：https://arxiv.org/abs/2610.08747v1
• 英文标题：The Missing Minimal Pair: Stereotype Evaluation in LLMs
• 英文关键词：原始材料未提供，待核实；可核对术语包括 stereotype evaluation、minimal pair、large language models、bias、mutual information (MI)。
• Track: academic
• Topics: foundation-model
• 代码：https://github.com/stepanat/missing-minimal-pair/
• 候选摘要（原文）： A common approach to measuring bias in Large Language Models is to compare the log-likelihoods of two contrastive stereotype sentences. We argue that such single-pair comparisons are often unreliable: simply rewriting the same stereotype with an alternative attribute can yield logically inconsistent preferences. To address this, we propose a dual minimal pair setup that introduces two axes of comparison for robust stereotype evaluation. First, we present a data-augmentation framework that fills critical gaps in existing stereotype datasets by generating paraphrases and alternate attributes. We apply our framework on a set of English, Russian, Spanish and Chinese stereotypes. Second, we introduce two evaluation metrics tailored to the dual minimal pair setup. One of these metrics provides a new perspective on bias by modeling the mutual information (MI) between social groups and stereotyped attributes. This MI-based metric is better suited for aggregation and enables more robust comparisons of stereotype strength across different languages and models. Our code is available at https://github.com/stepanat/missing-minimal-pair/.