知识卡片：Bielik模型是否知道它不知道什么？激活分散性区分实体熟悉度与事实可靠性跨模型规模

English Title: Does Bielik Know What It Doesn't Know? Activation Dispersion Separates Entity Familiarity from Factual Reliability Across Model Scale
English Keywords: entity familiarity, factual reliability, activation dispersion, Bielik model, scaling curves

一句话结论

模型内部激活在生成任何答案前就能以极高准确率（AUROC 0.95–1.00）区分熟悉与虚构实体，但实体熟悉度和事实可靠性遵循不同的缩放曲线，且模型几乎从不主动拒绝回答（2520次答案中仅2次拒绝、1次含糊）。

事件概述 / 研究问题

大型语言模型对从未见过的实体最容易产生幻觉。本研究探究：在模型生成第一个答案token之前，其内部激活是否就已“暴露”实体熟悉度？该信号能否预测答案的事实可靠性？研究在四个规模的波兰语Bielik模型（1.5B, 4.5B, 7B, 11B参数）上进行，涵盖运动员、城市、作家、音乐家四个实体领域，每个领域各42个知名、42个冷门但真实、42个虚构实体，每实体配一个单句提问（每模型共504个提示）。

方法 / 产品要点

• 模型与数据： 四种规模的Bielik模型，四个实体领域，每个领域126个实体（知名/冷门真实/虚构各42个），每实体一个提问。
• 激活探测： 对后SwiGLU MLP激活使用两种无监督单次前向传播的分散度量——逆参与比（Inverse Participation Ratio） 和谱熵（Spectral Entropy）；同时训练有监督线性探针作为对比。
• 基线方法： 首个token熵基线；五次采样语义熵基线（5倍推理成本）。
• 行为评估： 严格裁判下统计已知运动员答案完全正确的数量；审计2520个答案中拒绝/含糊回答的数量。

主要结果或产业意义

• 熟悉度检测极强： 无监督分散度量区分知名与虚构实体AUROC达0.95–1.00，有监督探针达0.99–1.00。对真实名称（知名 vs. 冷门但真实）仍达0.96–1.00。
• 信号跨域迁移： 平均非对角线AUROC 0.92–0.99，表明信号在不同实体类型间通用。
• 熟悉度信号与事实可靠性缩放曲线不同： 表征层面的熟悉度信号在1.5B模型已达天花板，而行为事实可靠性随规模急剧提升（1.5B模型对42个已知运动员答案全正确数为0，4.5B为2，7B为10，11B为19）。
• 已知实体内部分辨困难： 在已知实体中区分正确与幻觉答案，探针仅达0.93 AUROC，分散度量不优于首个token熵基线；五次采样语义熵基线仅0.71–0.83且成本增长5倍。
• 模型几乎不拒绝： 对2520个答案的审计仅发现2次拒绝和1次含糊回答，尽管内部知道实体熟悉度。

为什么重要

该研究揭示了LLM内部表示与输出行为之间的关键脱节：模型“知道”一个实体是否熟悉，但几乎不利用这一知识来拒绝回答不可靠的问题。这为幻觉缓解、可靠性校准以及模型安全部署提供了新的视角——单纯提高模型规模可能仅改善事实回忆能力，但不必然改善自我认知与拒绝机制。

局限与不确定性

• 仅测试了波兰语Bielik模型，语言、架构、文化背景的泛化性待核实。
• 实体领域仅四个，虚构实体的构造方式可能影响结果。
• 已知实体中区分正确与错误答案的信号较弱，方法在此场景下提升空间有限。
• 模型几乎从不拒绝的行为可能与训练目标或评估设置有关，真实部署环境中可能因提示不同而改变。

可用于图书/PPT/简报的角度

• 示例标题： “LLM的内部知识 vs. 输出行为：为什么模型‘知道’却不说‘不知道’”
• 核心图表建议： 画两条缩放曲线，一条表示熟悉度检测AUROC（早早在1.5B达到天花板），一条表示事实正确率（随规模线性增长），直观展示两个现象的分离。
• 讨论点： 幻觉缓解不能仅靠扩大模型，还需设计机制让模型利用内部熟悉度信号主动拒绝或降低置信度。

原始材料

• arXiv: 2607.07670v1
• 标题：Does Bielik Know What It Doesn't Know? Activation Dispersion Separates Entity Familiarity from Factual Reliability Across Model Scale
• 作者：Grzegorz Brzezinka
• 发布日期：2026-07-08
• 类别：cs.CL, cs.LG