知识卡片：DARTS：面向解码器的模型合并表示偏置校正
一句话结论
DARTS 提出了一种面向自回归解码器的模型合并后表示偏置校正方法，通过熵加权 L1 损失和逐位置加性偏置，在新增参数约 0.1% 的情况下，显著改善合并模型在代码生成、数学推理和指令跟随等任务上的表现。
事件概述 / 研究问题
模型合并（model merging）可以将多个任务专用微调后的大语言模型组合成单个多任务模型，而无需额外训练。但合并后的模型普遍存在“表示偏置”（representation bias），即合并模型的隐藏状态与每个源模型的隐藏状态之间出现系统性漂移。
此前 Yang et al. (2024a) 已在基于编码器的视觉模型中研究并通过轻量校正模块缓解该偏置，但自回归解码器中的表示偏置尚未被充分研究。本文指出，解码器存在两个编码器没有的挑战：
- 因果注意力掩码会导致表示偏置沿 token 位置累积，因此需要与位置相关的校正；
- 并非所有 token 位置同等重要，高熵（high-entropy）位置通常是决策关键位置，对生成质量影响更大。
方法 / 产品要点
- 提出 Decoder-Aware Representation Tuning via Surgery，简称 DARTS。
- 使用逐位置加性偏置（per-position additive bias）来捕捉依赖位置的误差，同时避免过度参数化。
- 提出熵加权 L1 损失（entropy-weighted L1 loss），提高高熵、决策关键位置的校正权重。
- 在 Llama-2-7B 上，针对代码生成（HumanEval）、数学推理（GSM8K）、指令跟随（AlpacaEval）三个领域进行评估。
- 与标准 surgery 方法相比，DARTS 获得显著提升，新增参数仅约模型总参数的 0.1%。
主要结果或产业意义
- DARTS 在 HumanEval、GSM8K、AlpacaEval 上均显著优于标准 surgery 方法。
- 新增参数可忽略不计，约占总参数 0.1%，适合作为模型合并后的轻量修复步骤。
- 对多任务 LLM 部署有潜在价值：通过模型合并降低训练成本，并以极小参数开销改善合并后的生成质量。
为什么重要
本文是少数将模型合并后的表示偏置校正从编码器视觉模型扩展到自回归解码器模型的工作之一。它揭示了因果注意力掩码带来的偏置累积问题，以及高熵 token 位置的关键性，为后续解码器模型合并后的内部表示修复提供了新的技术思路。
与既有脉络的关系
已有相关卡片分别涉及测试时模型选择、视频表示自编码器、机器人操作的组合泛化；本条卡片的增量信息在于：它不关注“选择哪个模型”或“学习何种表示”，而是针对“多个模型合并后内部隐状态漂移”这一后处理问题，提出了解码器感知的轻量校正方法。与相关脉络相比，DARTS 属于模型合并后的参数高效校准方向。
局限与不确定性
- 摘要未提供具体性能提升数值，因此 DARTS 相对标准 surgery 方法的量化增益幅度暂为“待核实”。
- 实验仅在 Llama-2-7B 上进行，更大规模模型、其他解码器架构上的表现“待核实”。
- 摘要未说明与全量微调、其他模型合并方法或更复杂校正模块的对比结果，“待核实”。
- 熵加权 L1 损失和逐位置加性偏置在长序列、多任务合并中的额外计算与内存开销“待核实”。
- 未涉及安全性、事实性、指令遵循之外的评估维度，“待核实”。
可用于图书 / PPT / 简报的角度
- 模型合并的隐性代价：表示偏置如何影响多任务模型质量。
- 解码器与编码器的本质差异：因果注意力掩码如何让误差沿 token 位置累积。
- “关键位置”思维：高熵位置比低熵位置更需要被修正。
- 极低参数开销的后处理校正：仅增加 0.1% 参数即可改善生成质量。
- 从“合并模型”到“可用的多任务模型”：轻量 surgery 方法的工程意义。
原始材料
- 英文标题：DARTS: Decoder-Aware Representation Tuning via Surgery for Model Merging
- 英文关键词：model merging; representation bias; decoder; entropy-weighted loss; parameter-efficient; Llama-2-7B
- 原始来源：https://arxiv.org/abs/2608.28547v1
- arXiv ID：2608.28547v1
- 作者：Aaryan Ajay Sharma, Sai Nishanth Padala, Seganrasan Subramanian
- 发布时间：2026-08-28
- 分类：cs.LG