在扩展到 100B token 规模的评估中,先让语言模型在“形式推导(formal derivations)”数据上进行前置预训练(Logic-PPT),能显著加速自然语言技能习得:达到 80% 准确率比标准初始化少用 36B token;并且这种训练方式带来的内部表征几何特征,使模型在约 33% 稀疏度剪枝下仍能匹配密集基线性能。
值得关注:这是少数将前置预训练研究推到 **100B token** 规模的工作,能更可靠地观察技能涌现和表征演变。 提出了比 Dyck、程序化算法等更接近自然语言核心机制的前置预训练任务:**形式推导**。 揭示了训练数据先验…