知识卡片：一切适度——多领域中间训练中的“中等覆盖”最优点与对齐抗性的领域差距

英文标题：Everything in Moderation: Per-Domain Coverage Optima and Alignment-Resistant Domain Gaps in Multi-Domain Mid-Training

英文关键词：mid-training; multi-domain data composition; per-domain coverage optimum; alignment-resistant domain gaps; KOR-Bench

一句话结论

在五个逻辑推理领域的中间训练（mid-training）受控实验中，每个领域的最优数据覆盖不是“越多越好”，而是落在约10%–40%的中等覆盖带；后续固定预算下的补偿性SFT虽能普遍提升绝对准确率，却几乎不能弥合领域间差距，说明这类差距具有对齐抗性。

事件概述或研究问题

中间训练位于预训练与对齐之间，是一个模型各领域数据配比通常由“数据可得性”而非“原则性设计”决定的阶段。论文提出的问题是：

• 选择每个领域的数据覆盖比例，到底能买到多少下游表现？
• 后续的 alignment 阶段是否能“撤销”或补偿不合理的中间训练配比造成的领域差距？

作者在受控逻辑推理环境中系统改变各领域的数据覆盖比例，以检验是否存在每个领域各自的内部最优点。

方法/产品要点

• 模型基线：Qwen3-8B-Base，并使用一个4B模型做重复验证。
• 任务与领域：KOR-Bench 的五个语义和规则互不重叠（semantically rule-disjoint）的领域。
• 实验设计：在五领域单纯形（simplex）上训练30种数据分配，其中包括24种扫描配置与6种不纳入拟合的预留配置；每种配置使用5个随机种子。
• 对齐干预：在固定预算下进行补偿性SFT（compensatory SFT），并用等预算的 uniform 控制作为对照；还考察了 FineWeb-Edu-only 对照与探索性的 θ* 分配。

主要结果或产业意义

1. 存在内部最优覆盖，而非“越多越好”
   五个领域都有一个内部最优覆盖点；最佳的覆盖带并非极端高比例，而是约10%–40%。用于检验“二次内部性”的置换检验给出 P≈0.010。8B模型中拟合出的峰值位于9.9%–35.1%之间；摘要还提到曲线形状可复现，但峰值位置未复现（具体含义待核实）。

2. 领域差距具有对齐抗性
   补偿性SFT使116/120个单元提升，平均提升+4.32个百分点；但在5%阈值下，桥接（bridge）的 pair 数为0/240，在10% ratio 下为30/240。等预算的 uniform 对照行为几乎相同；置换零分布预期会桥接13.8±3.3对与77.9±8.5对，P<0.001。也就是说，SFT提升平均分，但不能按随机水平去消除领域差距。

3. 零覆盖会带来性能崩溃，但不是单纯的“缺领域”问题
   零覆盖会使仅中间训练模型的准确率崩溃；不过 FineWeb-Edu-only 对照显示，这种崩溃与通用漂移（generic drift）混杂在一起。

4. θ 分配是探索性结果，需谨慎使用*
   探索性的 θ* 分配在完整流程上取得最大增益，摘要原始表述为 +4.36% vs. +0.80%/+0.64 个百分点；但该差异在 Welch 检验下仅为边缘显著。

产业意义：多领域模型开发中，中间训练的数据配比应被视为需要设计的选择变量，而不是简单按数据可得性堆叠；也不能默认后续 SFT/RLHF 能修复前期配比造成的领域差距。

为什么重要

常见的多领域能力建设讨论往往聚焦下游微调、推理策略或对齐方法。这篇论文把“pre-training 与 alignment 之间的数据配比”本身作为第一位的自变量，并提供一个值得注意的负面结果：SFT 可以显著涨平均分，但未必缩小领域之间的相对差距。

与既有脉络的关系

与已有卡片涉及的多智能体辩论中的隐性目标、条件式户型图生成中的域偏移缓解、多跳知识图谱问答中的语义鸿沟等主题不同，本条不讨论推理时社会结构、图像生成迁移或问答链路，而是聚焦大模型训练流程中的 mid-training 阶段。它的增量信息是：领域覆盖组合在中间训练中具有内部最优点，并且后期对齐难以替代该阶段的审慎设计。

局限与不确定性

• 实验基于逻辑推理类的 KOR-Bench 五个领域，以及8B/4B规模模型；在更广任务、更大模型上的推广性待核实。
• 关于“桥接 pair”的计算方式、5%阈值和10% ratio的精确定义，摘要未展开；如需具体转述，应核对原文。
• 摘要提到“曲线形状可复现，但峰值位置不能复现”，具体复现条件与统计量待核实。
• FineWeb-Edu-only 对照的训练细节与“通用漂移”的操作化定义待核实。
• θ* 分配虽然增益最大，但统计显著性较弱，不宜单独作为结论使用。

可用于图书/PPT/简报的角度

• “中间训练的数据配比像做投资组合：重仓单一领域未必最好，10%–40%的中等覆盖可能是更稳的基准。”
• “平均分上涨不等于差距缩小：SFT可以提升116/120个单元，却几乎没有桥接领域差距。”
• “给多领域模型做报告时，不要只看总体准确率，也要报告不同领域之间的差距是否被对齐阶段真正弥合。”
• “如果PPT只能讲一张图，可以说：所有领域的最优点都落在中等覆盖区间，而不是极端覆盖。”

原始材料

• arXiv ID：2609.09081v1
• 原始标题：Everything in Moderation: Per-Domain Coverage Optima and Alignment-Resistant Domain Gaps in Multi-Domain Mid-Training
• 作者：Yunpeng Xu, Kun Zheng
• arXiv 分类：cs.AI
• URL：https://arxiv.org/abs/2609.09081v1
• PDF：https://arxiv.org/pdf/2609.09081v1
• 来源抓取的发布时间：2026-09-08T17:31:38Z