知识卡片：基于冻结离散扩散语言模型的音频原生语音识别

一句话结论

本文证明，离散扩散语言模型（而非自回归模型）可以通过少量并行去噪步骤直接转录语音，在 LibriSpeech test-clean 上达到 6.6% 的词错误率，且训练参数量仅为骨干模型的 0.16%。

事件概述或研究问题

自动语音识别（ASR）长期被自回归解码器主导，每步输出一个 token。作者探索是否可以用离散扩散语言模型代替自回归解码器，通过少量并行去噪步骤逐步精炼整条转录。他们以 DiffusionGemma（26B 混合专家模型，使用均匀随机 token 离散扩散而非吸收掩码方案）为骨干，训练一个“音频原生”接口。

方法/产品要点

模型架构：冻结 Whisper 编码器提取声学特征，轻量投影器（projector）将特征映射到模型嵌入空间，低秩适配器（LoRA）让冻结的 DiffusionGemma 骨干能够关注新模态。
训练参数：仅约 4200 万参数被训练，占骨干模型的 0.16%。
关键技巧：自然训练目标（如交叉熵）的梯度经过注意力层时会被“忽略”，导致投影器无法有效学习；通过在冻结的输出头上施加 CTC（连接主义时序分类）损失打破了这一僵局。
解码方式：对任意长度的语音，均使用约 8 个并行去噪步骤完成转录（而非逐步自回归）。

主要结果或产业意义

性能：在 LibriSpeech test-clean 上达到 6.6% 词错误率。
语言能力：单个适配器在六种语言上训练，本文报告了英语、印地语和普通话的评估结果（具体数字待核实）。
推理效率：由于并行解码，推理延迟与 utterance 长度无关（仅约 8 步），有望替代传统自回归 ASR 在低延迟场景下的应用。

为什么重要

这是首次将离散扩散语言模型成功应用于语音转录，挑战了 ASR 对自回归解码的依赖。与已有的“离散扩散模型学习内容”卡片不同，本文聚焦于如何将扩散语言模型与连续声学信号结合，并利用 CTC 损失解决跨模态梯度传播问题。该工作展示了一种冻结知识、轻量适配的范式，可能推广到其他非自回归多模态任务。

局限与不确定性

仅报告了 LibriSpeech test-clean 结果，在噪声环境、高混淆度词汇或更长语音上的表现待核实。
对于六种语言中的非英语、印地语、普通话的具体 WER 与训练细节待核实。
DiffusionGemma 本身依赖均匀随机扩散而非掩码扩散，该设计对其他扩散语言模型的迁移性待核实。
并行步数固定为 8 步是否在更困难的任务上仍足够，以及如何自适应停止未提及。

可用于图书/PPT/简报的角度

ASR 的非自回归新路径：从“逐词生成”到“整句精炼”，对比传统 Transformer 自回归 ASR 与扩散模型并行转录的架构差异。
轻量适配的方法论：仅训练 0.16% 参数实现跨模态迁移，适合展示 LoRA + 投影器 + 冻结骨干的通用范本。
CTC 损失的再发现：在扩散语言模型训练中，CTC 作为“锚点”梯度解决模态对齐问题，可作为跨模态学习中的案例。

原始材料

英文标题：Audio-Native Speech Recognition with a Frozen Discrete-Diffusion Language Model
arXiv ID：2607.13013v1
作者：Harsha Vardhan Khurdula, Abhinav Kumar Singh, Yoeven D Khemlani, Vineet Agarwal
发布/更新日期：2026-07-14
摘要原文：Automatic speech recognition is dominated by autoregressive decoders that emit one token at a time. We ask whether a discrete diffusion language model can transcribe speech instead, refining a whole transcript in parallel over a small number of denoising steps. We train an audio-native interface for DiffusionGemma, a 26B mixture-of-experts model that generates text by uniform, random-token discrete diffusion rather than the absorbing-mask scheme common to recent diffusion language models. A frozen Whisper encoder supplies acoustic features, a lightweight projector maps them into the model embedding space, and low-rank adapters let the frozen backbone attend to the new modality.
About 42M parameters are trained, which is 0.16 percent of the backbone. We find that the natural training objectives fail to ground the audio because their gradient reaches the projector only through attention that has already dismissed it. A connectionist temporal classification loss applied through the frozen output head breaks this deadlock. The resulting model reaches 6.6 percent word error rate on LibriSpeech test-clean, transcribes in roughly eight parallel steps regardless of utterance length, and uses a single adapter trained on six languages, which we evaluate here on English, Hindi, and Mandarin.
英文关键词：automatic speech recognition, discrete diffusion language model, parallel decoding, CTC loss, frozen backbone
URL：https://arxiv.org/abs/2607.13013v1