知识卡片:Paradee:将 Kokoro-82M 蒸馏为 8M 参数单人声文本转语音模型
一句话结论:Paradee 把有 54 个声音的 Kokoro-82M 蒸馏为只保留其中一个声音的 8.07M 参数 TTS 模型;int8 存储为 8.5 MB,在单 CPU 线程上比实时快 25 倍,UTMOS 为 4.41,接近教师的 4.52,但评估与泛化细节仍待核实。
事件概述或研究问题:论文标题为 Paradee: Distilling Kokoro-82M into an 8M-Parameter Single-Voice Text-to-Speech Model,作者 Sahil Mahendrakar,arXiv ID 为 2610.06817v1,发布时间为 2026-10-05T17:56:07Z。研究问题是:能否把广泛使用的开放 TTS 模型 Kokoro-82M 压缩成极小单说话人模型,同时避免对齐学习和联合训练,并让模型可在单台笔记本电脑上运行。
方法/产品要点:
- 教师模型为 Kokoro-82M,学生模型 Paradee 为 8.07M 参数,只保留教师 54 个声音中的一个。
- Paradee 保留 Kokoro 架构,但层更窄;文本侧和解码器两半分别针对冻结的教师训练。
- 先用教师合成语料,并保存其时长、音高、能量和音素特征。
- 训练一个小型文本侧模型来预测这些值,再训练一个小型解码器,把教师保存的值转成教师音频;解码器先使用频谱损失,后使用对抗训练。
- 最后连接两半,并将权重量化为 int8。
- 流程不需要对齐学习,也不需要联合训练。
- 学生初始带有轻微 buzz;作者将其追溯到 2–8 kHz 浊音相位,并在合成后应用 phase-locking filter 去除大部分 buzz,无需训练和额外参数。
- 代码、模型文件和音频样例发布在 GitHub:https://github.com/sahilmahendrakar/paradee
主要结果或产业意义:
- 相对 Kokoro-82M,Paradee 参数少约 10 倍,计算需求少 15 倍。
- int8 存储时大小为 8.5 MB。
- 在单 CPU 线程上运行速度比实时快 25 倍。
- UTMOS 得分为 4.41,教师为 4.52。
- 可在单台笔记本电脑上运行。
- 若这些结果可复现,其潜在产业意义是:单说话人 TTS 可以走向离线、端侧、低资源部署,例如本地语音播报、嵌入式设备或隐私敏感的本地语音交互;但具体可用性和商业限制待核实。
为什么重要:
- 它展示了把数十兆级 TTS 教师模型压缩到 8M 级学生模型,并在 CPU 单线程上实时运行的路径。
- 它采用“教师生成语料 + 保存中间特征 + 分半训练 + int8 量化”的组合,避免传统 TTS 流程中的对齐学习和联合训练。
- 与既有卡片的关系:已有卡片讨论全双工语音到语音模型和自动化 TTS 评估局限;本条不是重复这些事实,而是补充一个极小单说话人 TTS 蒸馏案例。其 UTMOS 结果仍需结合自动评估器局限来理解,不能直接等同于多维听感质量。
局限与不确定性:
- 仅覆盖 Kokoro 54 个声音中的一个,多说话人、音色迁移、多语言表现待核实。
- 主要结果使用 UTMOS,材料未提供人工主观评测、可懂度、说话人相似度或错误率,相关听感结论待核实。
- 训练语料规模、训练时长、教师具体版本、训练硬件、超参数、数据许可、模型许可证和商用限制待核实。
- “单 CPU 线程快 25 倍”的具体 CPU 型号、音频采样率、文本长度和实时因子定义待核实。
- UTMOS 4.41 与教师 4.52 的差距是否统计显著、听感是否明显,待核实。
- phase-locking filter 的具体设计、延迟、泛化性和对其他音频的适用性待核实。
- int8 量化的校准细节和质量损失待核实。
- 同行评审状态、独立复现结果、与同规模 TTS 或其他人声蒸馏方法的对比待核实。
可用于图书/PPT/简报的角度:
- 模型蒸馏与端侧 AI:从 82M 到 8M,从多声音到单声音,int8 后仅 8.5 MB。
- TTS 流水线拆解:文本侧与解码器分开训练,教师特征作为中间监督。
- 两阶段解码器训练:频谱损失到对抗训练。
- 零训练后处理:phase-locking filter 解决高频相位 buzz。
- 自动评估的边界:UTMOS 接近教师不等于听感全面接近,可结合已有“超越自然度”卡片讨论。
- 开源复现:代码、模型文件和音频样例已发布。
原始材料:
- 英文标题:Paradee: Distilling Kokoro-82M into an 8M-Parameter Single-Voice Text-to-Speech Model
- 英文关键词(材料未单列,按标题/摘要提取):Text-to-Speech; Knowledge Distillation; Kokoro-82M; Paradee; Single-Voice TTS; Int8 Quantization; UTMOS; Phase-Locking Filter
- arXiv 摘要页:https://arxiv.org/abs/2610.06817v1
- PDF:https://arxiv.org/pdf/2610.06817v1
- 代码、模型文件与音频样例:https://github.com/sahilmahendrakar/paradee
- 作者:Sahil Mahendrakar
- arXiv ID:2610.06817v1
- 发布/更新:2026-10-05T17:56:07Z
- 分类:cs.SD; cs.AI; cs.CL; cs.LG; eess.AS
发现内容有误?
免登录提交,管理员审核并完成修正后才会公开修订说明。
相关主题
对应的教材知识点
教材知识点匹配尚未完成。