知识卡片：家用训练的葡萄牙语小型语言模型——自回归与掩码扩散对比教程

一句话结论

一篇教程论文展示了如何在单张消费级 GPU 上从零训练含分词器的葡萄牙语小型语言模型（11–12M 参数），并用预注册协议对比自回归与掩码扩散两种生成模式在巴西法律等专业领域任务上的表现；论文不提出新方法。

事件概述或研究问题

• 问题：个人研究者能否不依赖数据中心、仅用一张消费级 GPU 从零构建语言模型（含分词器），并可靠判断它对专业领域任务是否够用。
• 该工作定位为教程（tutorial），明确不提出新方法，重点在可复现流程与评测方法。
• 领域聚焦巴西葡萄牙语，尤其是联邦法律文本。

方法/产品要点

• 发布经过测试的 Python 包，以及两个巴西葡萄牙语 notebook。
• 同一网络支持两种生成模式：自回归生成与掩码扩散生成。
• 提供预注册（preregistered）的对比协议，减少事后挑选指标的空间。
• 仅用文本构建法律任务，配有 Kneser-Ney 基线（floor）与公开模型作为对照标尺。
• 给出 11 至 12M 参数模型的参考数值。
• 附带一份“只有通过测量才暴露的缺陷目录”。

主要结果或产业意义

• 在巴西散文与联邦法律文本上，单次运行仅需数分钟：
  • 自回归模式在重复训练同一文本时于 64 个 epoch 达到峰值，随后转为记忆（memorisation）。
  • 掩码扩散模式则持续改善至 256 个 epoch。
• 在测试集各自最佳点上，扩散损失的界（bound）比自回归似然高 0.06 bits/byte，处于预注册的最小效应范围内。
• 在留出法律文本与训练后发布的法律文件上：模型在相同窗口的似然上与 6-gram 基线持平，但在续写这些文件时不如 6-gram 基线。
• 检测篡改文本时优于 6-gram 基线。
• 交叉引用填空：在法令（decrees，训练中未出现的体裁）上，比 6-gram 基线和 160M、630M 参数公开模型填得更频繁，且这些对照打分器在该体裁上接近或低于随机水平；填空任务仅在每组权重相同时占优，逐项比较则与 630M 模型持平。
• 在法律文本上，算力约为其 5×10² 至 10⁵ 倍的公开模型在篡改检测与续写上领先。
• 盲评人工阅读已预注册，但不包含在本版本中。

为什么重要

• 证明“自建语言模型”在消费级硬件上可行，降低了小型专业领域模型的门槛。
• 提供了一套可复用的预注册评测范式：引入 Kneser-Ney 与公开大模型作为标尺，区分“似然持平”与“任务可用”两种结论。
• 揭示小模型容易在重复训练中记忆化，以及不同生成范式（自回归 vs 掩码扩散）在最优训练量上的差异。
• 与既有掩码扩散语言模型后训练/改进工作（如 Pivot-SD、掩码感知策略梯度）不同，本条是面向“从零训练 + 评测方法”的教程与实证基线，而非新算法。

局限与不确定性

• 作者明确不提出新方法，结论受限于 11–12M 参数规模与巴西葡萄牙语/法律领域。
• 盲评人工阅读结果未包含在本版本中，待核实。
• 交叉引用填空的优势仅在特定体裁（法令）与特定加权方式下成立，泛化性待核实。
• 与 6-gram 基线在似然上持平、续写落后，说明“似然指标”与“任务表现”并不一致，具体原因待核实。
• 公开对照模型的训练算力倍数为约数（5×10² 至 10⁵ 倍），精确对比条件待核实。

可用于图书/PPT/简报的角度

• “一张消费级 GPU 也能从零炼模型”：小型专业领域 SLM 的可行路径。
• 自回归 vs 掩码扩散：同一网络、同一数据下的训练曲线与最优点差异（64 vs 256 epochs）。
• 小模型评测方法论：预注册协议 + Kneser-Ney 下限 + 公开大模型标尺的组合。
• “似然持平不等于任务可用”：续写、篡改检测、交叉引用填空三类任务的分离结论。
• 记忆化风险：重复训练同一文本时自回归模式先达峰后记忆化。
• 缺陷目录的价值：只有测量才能暴露的问题清单。

与既有脉络的关系

• 既有卡片聚焦掩码扩散语言模型的后训练与强化学习改进（Pivot-SD、掩码感知策略梯度）；本条不涉及新训练算法，而是提供“从零训练 + 预注册评测”的教程性基线，可作为上述工作的对照背景。
• 本条补充了掩码扩散在极小规模（11–12M）与专业领域（巴西法律）下的实证数据点。

原始材料

• 标题：Homebrewed SLMs: Autoregressive and Masked Diffusion Language Models Built at Home for Portuguese
• 作者：Pedro Carvalho Brom
• arXiv ID：2610.40533v1（cs.CL；交叉 cs.LG）
• 发布/更新：2026-10-29
• 摘要页：https://arxiv.org/abs/2610.40533v1
• PDF：https://arxiv.org/pdf/2610.40533v1
• 关键词：small language models；autoregressive；masked diffusion；Portuguese；preregistered evaluation；Kneser-Ney floor；consumer GPU；tutorial