知识卡片：大语言模型在严重天气指导中的“虚假安抚”现象：一项针对真实 NWS 警报的可复现评估

一句话结论

一项可复现的评测发现：当基于 Claude 的天气准备助手看不到官方严重天气警报时，可能在警报生效期间向用户表示“天气平稳”，作者将这种现象称为“虚假安抚”（false reassurance），发生率在盲测条件下为 37.7%–44.9%。（正文细节待核实）

事件概述或研究问题

研究关注大语言模型在严重天气指导中的安全失效模式：模型在无法获取官方警报信息时，是否会给出与事实相反的安抚性判断。作者构建了 117 个冻结案例（frozen cases），来源为真实的美国国家气象局（NWS）警报：其中 69 个警报案例、32 个无警报对照、16 个非美国地点。这些案例在五种条件下回放，条件差异在于警报可访问性与提示设计。（部分细节待核实）

方法/产品要点

• 评测对象：一个基于 Claude 的天气准备流水线（preparedness pipeline），通过不同条件改变其警报访问权限与提示词。
• 案例构成：共 117 个案例，含 69 个警报案例、32 个无警报对照、16 个非美国地点。
• 标注方式：一名评分者对全部 342 条警报案例回复进行人工标注，采用在初始二分类通过后编写的七类方案，作者对此作了披露。
• 自动化测量：尝试用正则表达式（regex）自动测量，但结果与人工判断相反，且漏掉了 57 个真实案例中的 53 个，因此未采用。
• 统计方法：使用配对 McNemar 检验比较条件差异；另有一项预注册的单句消融实验（preregistered single-sentence ablation）。
• 数据与代码：作者发布数据集、标签与代码。

主要结果或产业意义

• 虚假安抚率：生产流水线为 0.0%（0/66，95% CI 0.0–5.5）；相同警报在中性提示下为 0/69；盲测中性提示下为 37.7%（26/69）；盲测提示并要求模型披露其盲区时为 44.9%（31/69）。
• 所有虚假安抚案例均为隐式表达，没有任何回复明确否认警报存在。
• 提供真实警报可消除虚假安抚（配对 McNemar p < 0.0001）；而要求披露盲区的指令未能消除（p = 0.40）。
• 仅有警报数据不足以保障安全行为：中性提示下，模型在无警报对照中拉响某种警报的比例达 87.5%，而生产提示下为 0%；预注册的单句消融表明，生产提示中的一条指令解释了部分差距。
• 作者还报告了两类同类系统常见故障：NWS 测试产品被当作真实警报摄入，以及 token 预算在复杂案例上失效。

为什么重要

该研究揭示了 LLM 天气助手的一类隐蔽安全风险：失效不是给出错误警报，而是在警报生效时给出“一切正常”的安抚，用户难以察觉。结果还表明，安全行为同时依赖警报数据接入与提示设计，二者缺一不可；单靠要求模型“承认自己看不到警报”并不奏效，甚至可能提高虚假安抚率。此外，自动化正则测量与人工判断方向相反，提示此类安全指标需要谨慎的人工标注与可复现评测设计。

局限与不确定性

• 未能抓取论文正文，以上内容主要基于元数据与摘要，方法细节、统计口径与实验设置的具体描述待核实。
• 标注由单一评分者完成，评分者间一致性未在已知材料中体现，待核实。
• 结果基于特定 Claude 流水线与特定提示条件，向其他模型或产品的推广性待核实。
• 正则测量被弃用的具体原因与数据待核实。

可用于图书/PPT/简报的角度

• “沉默的失效”：LLM 安全风险不总是惊悚的错误输出，也可能是让人放松警惕的安抚。
• 数据接入 vs. 提示设计：安全行为需要“看得见警报”与“说得对”两者配合。
• 评测方法论：自动化指标可能系统性偏离真实失效方向，人工标注与可复现数据集的价值。
• 盲区披露的反直觉效果：要求模型坦白“我看不到”未必减少误导。

与既有脉络的关系

本条延续了“LLM 在合规/数据智能体等高风险场景中，答案表面正确不足以证明可靠”的关切（参见 LLM 辅助工业合规评估、LLM 数据智能体轨迹完整性两张卡片），但增量在于：本条聚焦的是“在缺少关键外部信息时给出安抚性错误判断”这一特定失效模式，并提供了针对真实 NWS 警报的可复现评测与量化发生率。

原始材料

• 标题：False Reassurance in LLM Severe-Weather Guidance: A Replayable Evaluation Against Real NWS Alerts
• 来源：arXiv（academic track）
• URL：https://arxiv.org/abs/2611.05290v1
• 备注：正文未能抓取，本卡片基于已知元数据与摘要，标注“待核实”处需查阅原文确认。