知识卡片：分子“既视感”：前沿语言模型对已发表数值的逐字检索

一句话结论

大型语言模型（LLM）在分子性质基准上的高准确率，可能并非来自真正的预测能力，而是来自对已发表数值的“逐字检索”；作者审计了22个前沿模型后发现，这种记忆性检索较普遍但高度依赖具体数据集，并且增加推理水平反而使检索更容易被触发。

事件概述或研究问题

论文针对的是LLM评估中的一个隐患：当模型在分子性质回归基准上作答时，准确率无法区分“模型真的预测出了数值”和“模型只是背诵出了论文中已发表的数值”。为此，研究在12个分子性质回归基准上对22个前沿LLM进行了审计，专门检测模型是否以“逐字检索”（verbatim retrieval）的方式输出了已发布数值。

方法/产品要点

• 审计对象：22个前沿大语言模型。
• 评估基准：12个分子性质回归基准。
• 检测目标：模型输出是否与已发表数值存在“数字级别”的逐字匹配。
• 实验设计：在同一批分子和同一提示下，以不同推理水平运行实验，观察推理强度如何影响逐字检索。
• 干预实验：在污染最严重的情形下尝试“中断检索”，并测试最强模型是否仍能识别“转换后的SMILES字符串＋原始标签”的组合。

主要结果或产业意义

• 逐字检索是普遍现象，但呈“数据集特定”分布：在5个数据集中，超过50%的受测LLM都出现了逐字检索；在其余数据集中，该现象只出现在零散的模型-任务组合中。
• 推理会改变检索行为：同一批实验、相同分子和相同提示，在较高推理水平下被标记为逐字检索的频率比最低推理水平高89%。
• 中断检索的尝试并不完全成功：最强模型在某些情况下仍然能识别出“变换后的SMILES字符串＋原始标签”的组合，说明污染可能以较隐蔽的形式存在。
• 当抑制逐字检索后，不同模型的预测误差在相对意义上变得更加接近；而在不干预时，模型之间对记忆检索的不同使用会使误差分布更分散。
• 这说明：LLM的通用预测能力并不仅仅由记忆值的数量决定，现有基准分数需要警惕“背诵”带来的虚高。

为什么重要

这项工作提醒我们，分子性质基准上的“高分”可能不是化学理解力的证据，而是训练语料记忆的泄漏。它为LLM科学评估提供了一种污染诊断思路，也为设计抗记忆检索的分子性质测试集提供了依据。与一般“模型准确率提升”的叙事不同，该研究直接挑战基准分数的效度：模型可能是在“复现论文结果”，而不是在“预测新性质”。

局限与不确定性

• 摘要未披露具体受测模型名称、12个回归数据集名称以及逐字检索的具体判定阈值，需核实全文。
• “两个推理水平”与文中的“最高/最低水平”之间的具体设置关系未在摘要中完整说明，待核实。
• “中断检索”的具体干预方式以及“最强模型”所指对象未在摘要中说明，待核实。
• 材料未说明文章是否经过同行评议，待核实。

可用于图书/PPT/简报的角度

• 标题角度：“AI是真懂化学，还是在背答案？”
• 插图角度：同一模型在低推理水平和高推理水平下输出相同数值，但触发记忆标记的比例上升。
• 讨论问题：如何重新设计分子性质基准，让“真预测”和“背答案”可以被区分？
• 引申：除了分子性质，其他科学任务（如材料性能、药代动力学参数）的LLM评估是否也有类似的记忆污染风险？

原始材料

• 英文标题：Molecular Déjà Vu: Digit-Level Retrieval of Published Values in Frontier Language Models
• 英文关键词：foundation model; molecular property benchmark; verbatim retrieval; memorization; regression benchmark; reasoning level
• 原始来源：arXiv:2609.05381v1；URL: https://arxiv.org/abs/2609.05381v1