知识卡片：复制相同、蒸馏差异：初始化线性视觉 Transformer

一句话结论

据论文摘要，从 Softmax ViT 向线性 ViT 迁移预训练权重时，MLP 权重可直接复制，而 attention 权重不能直接复制、需通过蒸馏恢复其 token routing 行为；“复制 MLP + 蒸馏 attention”可缩小差距，甚至让线性 ViT 超过 Softmax ViT，具体幅度与实验细节待核实。

事件概述或研究问题

• 英文标题：Copy the Same, Distill the Difference: Initializing Linear Vision Transformers
• 研究问题：线性 ViT 以线性复杂度注意力替代 Softmax 注意力，但通常需要从零预训练，且性能常低于 Softmax 版本；能否高效、有效地复用主流 Softmax ViT 的预训练权重来初始化线性 ViT？
• 摘要指出，近期 Attention Transfer 工作显示 Softmax ViT 之间 attention 是可迁移组件，但这一结论在 Softmax→线性迁移中不成立。

方法/产品要点

• 核心区分：
  • attention 权重是 operator-specific：直接复制帮助很小，有时甚至不如随机初始化。
  • MLP 权重是 operator-agnostic：直接复制即可携带预训练权重的多数收益。
• 提出策略：对 MLP 采用直接复制；对 attention 采用带合适 loss design 的蒸馏，恢复其 token routing 行为。
• 总体原则可概括为：copy what stays the same and distill what differs，即“复制相同部分，蒸馏差异部分”。

主要结果或产业意义

• 摘要报告，直接复制 attention 权重对 Softmax→线性迁移帮助有限，有时比随机初始化更差。
• 通过蒸馏恢复 attention 的 token routing 行为，可让线性 ViT 缩小与 Softmax ViT 的差距，甚至匹配。
• 直接复制 MLP 已能带来预训练权重的多数收益。
• “复制 MLP + 蒸馏 attention”最终可闭合剩余差距，甚至超过 Softmax ViT；具体指标、数据集和提升幅度待核实。
• 摘要称这些发现在多种线性 ViT 变体、不同模型尺寸和多个数据集上保持一致；具体范围待核实。
• 产业意义：若结果可复现，可能降低线性 ViT 从零预训练的成本，并复用已有 Softmax 基础模型资产。

为什么重要

• 该工作挑战了“attention 是唯一有效可迁移组件”的直觉，指出跨注意力算子的迁移需要区分保留与转换。
• 它为线性注意力模型的初始化、预训练资产复用和高效部署提供了新思路。
• 与已有“线性化 Transformer 的关键：分析驱动的线性化方法”卡片可能属于同一宽泛脉络；本条可补充的增量是：在已经选择线性注意力算子之后，如何从 Softmax 预训练模型迁移权重。两者具体关系待核实。

局限与不确定性

• 目前仅依据摘要和元数据，未获取完整正文；具体 loss 设计、蒸馏目标、训练配方、模型规模、数据集、评价指标、基线、消融实验和统计显著性均待核实。
• “超过 Softmax”的幅度、比较条件和计算预算是否一致，待核实。
• 摘要称结论跨多种线性 ViT 变体、模型尺寸和数据集一致，但未列明具体范围，待核实。
• 代码、权重或复现实验是否公开，材料未说明，待核实。
• 论文正式发表状态、同行评审状态待核实。

可用于图书/PPT/简报的角度

• “复制什么，蒸馏什么”：跨架构、跨算子迁移学习的一条直观原则。
• Softmax 与线性注意力的差异：不只是复杂度替换，还涉及权重语义和 token routing。
• 基础模型资产复用：如何把 Softmax ViT 的预训练能力迁移到线性 ViT。
• 效率与性能权衡：线性 ViT 能否通过迁移初始化弥补从零预训练和性能差距。
• 实验设计启示：迁移时区分 operator-specific 与 operator-agnostic 组件。

原始材料

• 英文标题：Copy the Same, Distill the Difference: Initializing Linear Vision Transformers
• 英文关键词（据摘要提炼，非原文关键词列表）：Linear Vision Transformers, Softmax attention, linear attention, Attention Transfer, distillation, MLP weights, initialization, pre-trained weights
• 作者：Huaiyuan Qin, Muli Yang, Gabriel James Goenawan, Shiqi Huang, Min Kass Chong, Wahyu Wiratama, Peng Hu, Chen Gong, Wu Liu, Xi Peng, Chun Jian Ho, Hongyuan Zhu
• arXiv ID：2609.35745v1
• 发布时间：2026-09-28T17:55:21Z（来源材料标注）
• 更新：2026-09-28T17:55:21Z（来源材料标注）
• 主分类：cs.CV；相关分类：cs.CV, cs.AI, cs.LG
• 摘要链接：https://arxiv.org/abs/2609.35745v1
• PDF 链接：https://arxiv.org/pdf/2609.35745v1
• 轨道：academic；主题：foundation-model