知识卡片：预训练表征中线性可读的知识更易在微调后泛化

一句话结论

语言模型能否把微调学到的新关系泛化到未见主体，主要取决于该关系在预训练表征中是否“线性可读”，而非模型是否能回忆原始事实本身。

事件概述或研究问题

论文区分两类事实：主动事实（active facts，能支持超出自身回忆范围的泛化）与惰性事实（inert facts，可被回忆但在特定任务中不支持泛化）。研究问题是：为什么有些事实在微调后能带动新关系的泛化，有些却不能？作者通过“用已有关系构造新关系”的实验范式来检验这一区分。

方法/产品要点

• 构造新关系：取“地点→大洲”这类已有关系（Paris→Europe），给每个答案随机指派新标签（Europe→crab，Asia→zebra），得到新关系 Paris→crab。
• 微调：只在一部分主体上微调新关系，不告知模型原始关系或重标签规则。
• 测试：看模型能否对共享原始答案的留出主体给出对应新标签（学会 Paris→crab 后，能否答对 Munich→crab）。
• 规模：11 个语言模型、70 个关系；用线性探针度量原始关系在预训练表征中的线性可读性。
• 控制变量：微调主体数与答案数、模型在原始关系上的准确率、主体在预训练文本中的出现频率；并做标签重随机化、微调种子更换、替换为其他 13 类语义标签等稳健性检验。

主要结果或产业意义

• 原始关系的线性可读性与微调后的泛化能力在模型内跨关系强相关，Pearson r = 0.87–0.92。
• 该关联在单独及联合控制上述变量后依然存在，且对标签重随机化、种子更换、标签类别替换均稳健。
• 把微调模型的错误标签映射回其被指派的原始答案后（Munich→zebra 还原为 Munich→Asia），这些还原答案比预训练模型自身的答案更常出现在线性探针对该主体的 top 答案中。
• 结论：新关系能否泛化，更多取决于其共享结构能否被线性读出，而非事实能否被回忆。

为什么重要

• 为“哪些知识值得微调/注入”提供了可测量的预筛选信号：线性探针可读性可能比事实回忆准确率更能预测迁移效果。
• 对知识编辑、持续学习、参数高效微调的数据选择有直接启示：应优先选择在表征空间中结构清晰的关系。
• 与既有关注“微调是否有效”的卡片（如 Q 函数预训练、提示-模型交互不动点）形成互补：本条聚焦预训练表征结构对微调泛化的预测力，属于同一“微调前状态决定微调后行为”的脉络，增量在于给出跨 11 模型、70 关系的定量相关性证据。

局限与不确定性

• 实验限于 11 个模型与 70 个关系，是否推广到更大模型、更多关系类型待核实。
• “线性可读性”由线性探针度量，探针选择与超参对结论的影响待核实。
• 新关系由已有关系重标签构造，与真实世界中全新知识的泛化是否一致待核实。
• 论文为 arXiv 预印本（v1），未经同行评审，结论待核实。

可用于图书/PPT/简报的角度

• “可回忆 ≠ 可泛化”：主动事实与惰性事实的区分，可作为知识管理章节的核心概念。
• 用“线性探针”作为微调前的知识体检指标，配 r=0.87–0.92 的散点示意。
• 案例图解：Paris→Europe→crab 的重标签实验流程，说明泛化测试如何设计。
• 与知识编辑/持续学习实践对照：为何有些注入的知识“学得进、用不出”。

原始材料

• 标题：Knowledge That Is Linear Before Fine-Tuning Generalizes After It
• 作者：Faridoun Mehri, Hinrich Schütze
• arXiv ID：2610.22300v1（cs.CL, cs.AI, cs.LG）
• 发布/更新：2026-10-15
• 摘要页：https://arxiv.org/abs/2610.22300v1
• PDF：https://arxiv.org/pdf/2610.22300v1
• 关键词：active facts, inert facts, linear probe, fine-tuning generalization, relation transfer