知识卡片：dQwen3.5：混合注意力扩散语言模型

一句话结论

论文提出 dQwen3.5 系列（0.8B/2B/4B/9B），尝试把采用“注意力+RNN”混合架构的预训练自回归模型 Qwen3.5 适配为扩散语言模型（DLM），并报告混合主干在达到相同训练损失时所用 token 约为全注意力对照的一半，且在任意顺序解码与并行解码上表现接近全注意力 DLM（具体基准数值待核实）。

事件概述或研究问题

• 从预训练自回归（AR）模型出发做适配，被认为是获得扩散语言模型的一条低成本路径。
• 但以往这类适配几乎都从“全注意力 Transformer”出发；而 AR 建模本身的架构趋势正在转向交错堆叠注意力层与 RNN 层的混合架构。
• 这带来一个适配障碍：与注意力不同，RNN 在结构上是因果的，做双向化并不直接。
• 论文的问题因此是：这类混合主干能否成为有效的 DLM 起点？作者以 Qwen3.5 为底座，在 0.8B、2B、4B、9B 四个规模上做适配实验，得到 dQwen3.5 家族。

方法/产品要点

• 底座：预训练自回归模型 Qwen3.5，规模覆盖 0.8B、2B、4B、9B。
• 结构特征：混合注意力架构，注意力层与 RNN 层交错（attn/RNN 交错比例与具体层配置待核实）。
• 适配目标：将其转为扩散语言模型，使其支持任意顺序（any-order）解码与并行解码。
• 对照设置：与全注意力主干做对照，比较达到给定训练损失所需的 token 数量（训练数据、步数、算力等细节待核实）。
• 关于如何对结构性因果的 RNN 做双向化的具体技术方案，摘要未给出，待核实。

主要结果或产业意义

• 效率方面：相对全注意力对照，混合主干在约一半 token 内达到给定训练损失，说明混合架构可以是高效的适配起点。
• 行为方面：在 0.8B–9B 各规模上，dQwen3.5 的任意顺序解码行为与全注意力 DLM 相似。
• 生成方面：在并行解码设定下表现较强。
• 产业含义：如果结论稳固，则意味着大量基于混合注意力/RNN 主干的现有 AR 模型（而非仅全注意力模型）都可被纳入“低成本改造为扩散语言模型”的候选池，从而降低 DLM 的开发门槛；具体推理吞吐、延迟、下游任务分数的量化收益待核实。

为什么重要

• 它把 DLM 适配的研究边界从“全注意力 Transformer”推进到“注意力+RNN 混合主干”，这是当前 AR 模型架构演进的主流方向之一。
• 若“约一半 token 达到同等训练损失”在更大规模与更多任务上成立，则扩散语言模型的训练成本结构可能被重新评估。
• 与既有脉络的关系：本地已有卡片涉及掩码扩散语言模型的策略梯度、VLA 忠实性、VLM 失败归因等主题，本条不重复其事实；本条提供的是“扩散语言模型 × 混合架构适配”这一新维度的增量信息。

局限与不确定性

• 论文仅提供摘要级信息：具体基准分数、评测任务清单、训练数据与算力规模、超参设置均待核实。
• “约一半 token”是与论文内部的全注意力对照相比，不能直接外推为通用加速比；其可复现性与统计显著性待核实。
• RNN 层双向化的具体做法、是否需改动主干权重、是否引入额外参数，摘要未说明，待核实。
• Qwen3.5 的模型细节与开放情况、dQwen3.5 是否开源或发布权重，待核实。
• “任意顺序解码行为相似”“并行解码表现强”均为定性表述，缺少具体指标，待核实。
• 论文标注发布时间为 2026-09-17，属较新预印本，尚无同行评审结论，待核实。

可用于图书/PPT/简报的角度

• “从 AR 到扩散”的模型改造路线图：全注意力路线 vs 混合注意力路线的对比。
• 架构趋势的副作用：当 AR 主干转向混合架构时，下游适配（如扩散化）会遇到哪些新约束。
• 训练效率叙事：用“达到同等损失所需 token 数”作为横轴，讨论 DLM 训练成本的另一种衡量方式。
• 解码范式：任意顺序解码与并行解码对推理体验与部署成本的含义。
• 规模一致性：0.8B→9B 的跨规模行为一致性，作为“适配方法是否 scale-robust”的案例。

原始材料

• 标题：dQwen3.5: Hybrid-Attention Diffusion Language Models
• 作者：Anton Xue, Litu Rout, Aditya Akella, Adam Klivans, Sujay Sanghavi, Sanjay Shakkottai
• arXiv ID：2609.20751v1
• 发布时间：2026-09-17T17:39:46Z（更新同）
• 主分类：cs.CL；分类：cs.CL, cs.LG
• 摘要页：https://arxiv.org/abs/2609.20751v1
• PDF：https://arxiv.org/pdf/2609.20751v1
• 英文关键词：diffusion language model, hybrid attention, RNN, autoregressive adaptation, any-order decoding, parallel decoding, Qwen3.5, dQwen3.5