知识卡片：预训练中什么在变好？用时间点模型追踪知识获取

一句话结论

论文提出“时间可变性分数”（Temporal Variability Score, TVS），用不同年份网络快照训练的时间点模型衡量同一知识条目在各年份语料中的表征一致性；结果显示高 TVS 条目在预训练后期提升更快、最终表现更好（36 个模型—基准设置中 34 个胜出，平均领先 7.3 个点）。

事件概述或研究问题

语言模型在多年网络语料上预训练，会同时学到通用知识与领域知识，但这些知识在预训练过程中如何被习得仍不清楚。作者利用按不同年份网络快照训练的“时间点模型”（point-in-time models），考察知识在网络文本中的流行度随时间的变化，并据此分析预训练期间的学习动态。

方法/产品要点

• TVS 定义：某条目在各时间点模型上负对数似然（negative log-likelihood）的变异系数。分数越高，说明该知识在不同年份网络文本中的表征越不一致。
• 评估规模：6 个覆盖不同主题的基准、来自多个开源模型家族的 6 个模型，共 36 个模型—基准设置。
• 分析维度：比较低 TVS 与高 TVS 条目在预训练早/后期的学习曲线，并控制条目难度。

主要结果或产业意义

• 低 TVS 与高 TVS 条目在预训练早期学习情况相似。
• 预训练后期，高 TVS 条目提升更快。
• 预训练结束时，高 TVS 条目在 34/36 个模型—基准设置中优于低 TVS 条目，机会归一化准确率（chance-normalized accuracy）平均高出 7.3 个点。
• 该模式在知识密集型任务上最稳健，即使比较难度相近的条目也成立。

为什么重要

• 提供了一种超越聚合基准分数的诊断工具：TVS 可刻画预训练中不同知识类型的学习节奏差异。
• 说明“随时间变化的知识”（高 TVS）并未更难学，反而在后期被模型更充分地吸收，提示预训练后段对时间敏感型知识的整合作用。
• 与既有卡片“预训练期间的知识获取？大语言模型借助辅助视图学习得更好”关注点不同：前者聚焦同一知识的不同表述形式（辅助视图），本条聚焦知识在网络语料中的时间分布特征及其对学习动态的影响，二者共同补充“预训练中知识如何被习得”的图景。

局限与不确定性

• TVS 基于负对数似然的变异系数，其对“知识一致性”的刻画是否等价于语义层面的知识流行度，待核实。
• “高 TVS 条目后期提升更快”的因果机制未在摘要中说明，待核实。
• 6 个基准、6 个模型的具体名单与任务类型未在摘要中列出，待核实。
• 结论是否适用于非英语语料、非网络来源语料，待核实。

可用于图书/PPT/简报的角度

• 用“时间可变性”作为切片，解释预训练不是均匀学习，而是分阶段、分知识类型推进。
• 对照“难度”与“时间可变性”两个维度，说明“难学”与“学得晚”不是一回事。
• 把 TVS 作为预训练数据诊断指标的候选，讨论其对数据配比与课程设计的潜在启示。

原始材料

• 标题：What Improves During Pretraining? Tracking Knowledge Acquisition with Point-in-Time Models
• 作者：Chang Su, Bin Wu, Emine Yilmaz, Yao Lu
• arXiv ID：2610.37631v1（cs.AI）
• 发布：2026-10-27T17:52:38Z
• 摘要页：https://arxiv.org/abs/2610.37631v1
• PDF：https://arxiv.org/pdf/2610.37631v1
• 关键词：point-in-time models; temporal variability score; pretraining dynamics; knowledge acquisition; negative log-likelihood