AI消息速览

Paradee:将 Kokoro-82M 蒸馏为 8M 参数单人声文本转语音模型

事件日期 2026-10-05 · 学术前沿 · 已接受

事件日期2026-10-05
信息日期2026-10-05
入库日期2026-10-06
通道学术前沿
状态已接受
来源arXiv 论文

知识卡片:Paradee:将 Kokoro-82M 蒸馏为 8M 参数单人声文本转语音模型

一句话结论:Paradee 把有 54 个声音的 Kokoro-82M 蒸馏为只保留其中一个声音的 8.07M 参数 TTS 模型;int8 存储为 8.5 MB,在单 CPU 线程上比实时快 25 倍,UTMOS 为 4.41,接近教师的 4.52,但评估与泛化细节仍待核实。

事件概述或研究问题:论文标题为 Paradee: Distilling Kokoro-82M into an 8M-Parameter Single-Voice Text-to-Speech Model,作者 Sahil Mahendrakar,arXiv ID 为 2610.06817v1,发布时间为 2026-10-05T17:56:07Z。研究问题是:能否把广泛使用的开放 TTS 模型 Kokoro-82M 压缩成极小单说话人模型,同时避免对齐学习和联合训练,并让模型可在单台笔记本电脑上运行。

方法/产品要点:

  • 教师模型为 Kokoro-82M,学生模型 Paradee 为 8.07M 参数,只保留教师 54 个声音中的一个。
  • Paradee 保留 Kokoro 架构,但层更窄;文本侧和解码器两半分别针对冻结的教师训练。
  • 先用教师合成语料,并保存其时长、音高、能量和音素特征。
  • 训练一个小型文本侧模型来预测这些值,再训练一个小型解码器,把教师保存的值转成教师音频;解码器先使用频谱损失,后使用对抗训练。
  • 最后连接两半,并将权重量化为 int8。
  • 流程不需要对齐学习,也不需要联合训练。
  • 学生初始带有轻微 buzz;作者将其追溯到 2–8 kHz 浊音相位,并在合成后应用 phase-locking filter 去除大部分 buzz,无需训练和额外参数。
  • 代码、模型文件和音频样例发布在 GitHub:https://github.com/sahilmahendrakar/paradee

主要结果或产业意义:

  • 相对 Kokoro-82M,Paradee 参数少约 10 倍,计算需求少 15 倍。
  • int8 存储时大小为 8.5 MB。
  • 在单 CPU 线程上运行速度比实时快 25 倍。
  • UTMOS 得分为 4.41,教师为 4.52。
  • 可在单台笔记本电脑上运行。
  • 若这些结果可复现,其潜在产业意义是:单说话人 TTS 可以走向离线、端侧、低资源部署,例如本地语音播报、嵌入式设备或隐私敏感的本地语音交互;但具体可用性和商业限制待核实。

为什么重要:

  • 它展示了把数十兆级 TTS 教师模型压缩到 8M 级学生模型,并在 CPU 单线程上实时运行的路径。
  • 它采用“教师生成语料 + 保存中间特征 + 分半训练 + int8 量化”的组合,避免传统 TTS 流程中的对齐学习和联合训练。
  • 与既有卡片的关系:已有卡片讨论全双工语音到语音模型和自动化 TTS 评估局限;本条不是重复这些事实,而是补充一个极小单说话人 TTS 蒸馏案例。其 UTMOS 结果仍需结合自动评估器局限来理解,不能直接等同于多维听感质量。

局限与不确定性:

  • 仅覆盖 Kokoro 54 个声音中的一个,多说话人、音色迁移、多语言表现待核实。
  • 主要结果使用 UTMOS,材料未提供人工主观评测、可懂度、说话人相似度或错误率,相关听感结论待核实。
  • 训练语料规模、训练时长、教师具体版本、训练硬件、超参数、数据许可、模型许可证和商用限制待核实。
  • “单 CPU 线程快 25 倍”的具体 CPU 型号、音频采样率、文本长度和实时因子定义待核实。
  • UTMOS 4.41 与教师 4.52 的差距是否统计显著、听感是否明显,待核实。
  • phase-locking filter 的具体设计、延迟、泛化性和对其他音频的适用性待核实。
  • int8 量化的校准细节和质量损失待核实。
  • 同行评审状态、独立复现结果、与同规模 TTS 或其他人声蒸馏方法的对比待核实。

可用于图书/PPT/简报的角度:

  • 模型蒸馏与端侧 AI:从 82M 到 8M,从多声音到单声音,int8 后仅 8.5 MB。
  • TTS 流水线拆解:文本侧与解码器分开训练,教师特征作为中间监督。
  • 两阶段解码器训练:频谱损失到对抗训练。
  • 零训练后处理:phase-locking filter 解决高频相位 buzz。
  • 自动评估的边界:UTMOS 接近教师不等于听感全面接近,可结合已有“超越自然度”卡片讨论。
  • 开源复现:代码、模型文件和音频样例已发布。

原始材料:

  • 英文标题:Paradee: Distilling Kokoro-82M into an 8M-Parameter Single-Voice Text-to-Speech Model
  • 英文关键词(材料未单列,按标题/摘要提取):Text-to-Speech; Knowledge Distillation; Kokoro-82M; Paradee; Single-Voice TTS; Int8 Quantization; UTMOS; Phase-Locking Filter
  • arXiv 摘要页:https://arxiv.org/abs/2610.06817v1
  • PDF:https://arxiv.org/pdf/2610.06817v1
  • 代码、模型文件与音频样例:https://github.com/sahilmahendrakar/paradee
  • 作者:Sahil Mahendrakar
  • arXiv ID:2610.06817v1
  • 发布/更新:2026-10-05T17:56:07Z
  • 分类:cs.SD; cs.AI; cs.CL; cs.LG; eess.AS

发现内容有误?

免登录提交,管理员审核并完成修正后才会公开修订说明。

相关主题

对应的教材知识点

教材知识点匹配尚未完成。