知识卡片：野生AI生成网页文本值多少？——面向预训练数据的AI token缩放律

一句话结论

据候选摘要（正文未抓取，待核实）：在被 FineWeb 质量过滤后的 2026 年 6—8 月网页数据中，被 Pangram 判为 AI 生成的 token 占比从 27.5% 升到 31.1%；作者预训练 800 个语言模型后发现，这类“野生”AI 文本对预训练的边际价值可正可负——先压低人类文本损失，随后迅速反转为损害，且现有 Chinchilla 式缩放律无法预测。

事件概述或研究问题

• 网页文本是预训练语料的主体，而其中 AI 生成内容的比例正在上升。
• 研究对象不是实验室合成数据，也不是模型崩溃（model collapse）式闭环设定，而是“野生 AI 文本”：来源模型众多、面向人类读者写作、无标注地混入预训练语料。
• 核心问题：在野生 AI 文本不断进入预训练语料的情况下，它究竟如何影响语言模型预训练？一个 AI token 相对一个人类 token 的“价值”是多少？

方法/产品要点

据候选摘要（正文未抓取，以下条目待核实）：

• 数据侧：对网页数据做 FineWeb 质量过滤；用 Pangram 将其中 token 标注为 AI 生成或非 AI 生成。
• 建模侧：预训练 800 个语言模型，系统性改变“新增 AI token 与人类 token 的比例”，在人类文本与 AI 生成文本上分别拟合留出损失（held-out loss）的缩放律。
• 理论侧：指出 Hoffman et al. (2022) 一类缩放律无法预测所观察到的行为；提出一个新的缩放律，含相互独立的“收益项”与“危害项”，使 AI token 的价值可以变号，并在没有 AI 文本时退化回 Chinchilla 形式。
• 验证侧：在小模型上拟合的缩放律用于预测更大模型的留出人类文本损失。
• 产出：公开发布 WildAI（83B token 语料，带 AI、主题、格式标签）、全部 800 个模型与代码，仓库为 https://github.com/pangramlabs/WildAI 。

主要结果或产业意义

据候选摘要（正文未抓取，待核实）：

• 占比趋势：2026 年 6 月网页数据中 27.5% 的 token 被标为 AI 生成，到 8 月升至 31.1%（具体统计口径待核实）。
• 数据匮乏模型：向其预训练数据中加入 AI token，起初会降低人类文本上的损失；但随着加入量增加，收益饱和并迅速反转为损害。
• 人类文本预算充足的模型：加入 AI token 几乎立刻抬高损失；而同等数量的“新鲜”人类 token 则持续压低损失。
• 预测能力：在小模型上拟合的新缩放律，可预测最多 3.6 倍大的模型在留出人类文本损失上受 AI 文本的影响，在所有 AI 比例上比现有最佳缩放律的误差低 41%（基线与指标细节待核实）。
• 实践建议（据摘要）：目标为人类文本时应过滤 AI 文本；扩展训练集时应先重复使用人类文本，再考虑用 AI 生成网页文本扩容；应分别报告人类文本与 AI 文本上的验证损失。若目标本身就是 AI 文本，AI 文本仍具价值。

为什么重要

• 直击“数据墙/数据枯竭”争论：当人类文本预算受限时，用 AI 文本扩容看起来是直觉解，本工作给出了这一直觉的条件性否定——收益存在但会饱和并反转。
• 把“AI 污染网页”从一个检测与伦理议题，转化为可量化的预训练数据估值问题：一个 token 值多少，取决于模型规模、人类 token 预算与评测目标文本类型。
• 提供了可操作的报告规范：人类文本损失与 AI 文本损失分开报告，否则增益与损害可能互相掩盖。
• 与既有脉络的关系：本卡库中已有的 D2C-Routing 关注“如何检测混合来源的 AI 文本”，教师适配实践关注教育场景中的使用与调适；本条从检测/应用侧转向“数据供给侧的价值核算”，即一旦能识别 AI 文本，它在预训练目标函数里究竟该被如何计价。三者尚不构成同一事实的重复陈述，本条属新增维度。

局限与不确定性

• 正文未抓取：来源材料明确表示未能获取正文，本卡片全部内容仅基于标题、主题与候选摘要等元数据，因此上述所有数值、比例、模型规模、token 预算、缩放律函数形式与基线比较细节均待核实。
• 数据标注依赖单一检测器（Pangram）：其假阳性/假阴性会直接传导到“AI token 占比”与价值估计上；检测器准确率与人工校验情况待核实。
• “27.5% / 31.1%”的时间口径、爬取范围、是否 token 加权、是否仅限英文网页，均待核实。
• 野生 AI 文本的模型构成、提示方式与质量分布未知，结论对不同来源模型的泛化性待核实。
• 缩放律的外推范围（超出 3.6 倍规模、更长训练、不同数据混合比例）待核实；83B token 语料与 800 个模型的规模是否足以支撑所宣称的外推，需查正文。
• 英文关键词在给定材料中未提供，待核实（主题标注为 foundation-model，来源为 arXiv）。
• 与模板中“主要结果”相关的具体百分比（如低 41% 相对哪条基线、误差定义）待核实。

可用于图书/PPT/简报的角度

• “一个 AI token 值多少？”——把数据估值写成可讨论的问题，配一条价值随加入比例由正转负的示意曲线。
• 数据墙叙事的新转折：不是“有没有数据”，而是“数据的边际价值被 AI 内容稀释”。
• 反直觉点：小剂量 AI 文本对数据匮乏模型有益，剂量上去立刻有害——适合做“剂量—反应”类比。
• 两个模型的对照：人类文本预算紧张者 vs 预算充裕者，对 AI 文本的容忍度完全不同。
• 方法论教训：旧缩放律失效，新缩放律需要收益项与危害项分离，且要能退化到 Chinchilla。
• 操作清单页：过滤 AI 文本、先重复人类文本、人类/AI 验证损失分开报告。
• 数据卡与可复现性示范：WildAI 语料 + 800 模型 + 代码同步发布。

原始材料

• 英文标题：How Much Is an AI Token Worth? Scaling Laws for Wild AI-Generated Web Text
• 英文关键词：来源材料未提供，待核实（已知主题标注：foundation-model）
• 原始来源：arXiv，https://arxiv.org/abs/2609.40295v1 （v1）
• 附带资源：https://github.com/pangramlabs/WildAI
• 抓取状态：未能抓取正文，本卡片仅基于已知元数据与候选摘要生成；标注为“待核实”的内容需回到原文确认。