据候选摘要(正文未抓取,待核实):在被 FineWeb 质量过滤后的 2026 年 6—8 月网页数据中,被 Pangram 判为 AI 生成的 token 占比从 27.5% 升到 31.1%;作者预训练 800 个语言模型后发现,这类“野生”AI 文本对预训练的边际价值可正可负——先压低人类文本损失,随后迅速反转为损害,且现有 Chinchilla 式…
值得关注:直击“数据墙/数据枯竭”争论:当人类文本预算受限时,用 AI 文本扩容看起来是直觉解,本工作给出了这一直觉的条件性否定——收益存在但会饱和并反转。 把“AI 污染网页”从一个检测与伦理议题,转化为可量化的预训练数据估值…