AI消息速览

小红书开源dots.tts,连续自回归语音合成基座

事件日期 2026-08-14 · 产业观察 · 已接受

事件日期2026-08-14
信息日期2026-08-14
入库日期2026-08-14
通道产业观察
状态已接受
来源腾讯研究院(搜狐同步)

知识卡片:小红书开源dots.tts,连续自回归语音合成基座

英文标题: RedNote (Xiaohongshu) Open-Sources dots.tts: A Continuous Autoregressive TTS Foundation Model

英文关键词: TTS;speech synthesis;autoregressive model;continuous latent space;open source;Seed-TTS-Eval

一句话结论

dots.tts是一个20亿参数的全连续端到端自回归语音合成基座模型,跳过离散Token量化,直接在连续隐空间建模并还原波形,在Seed-TTS-Eval三个子集上平均内容准确度与说话人相似度达到SOTA,并支持流式输出与低延迟双流模式。

事件概述

小红书dots团队与上海交大X-LANCE实验室联合开源了dots.tts,定位为可持续扩展的语音合成基座。与主流TTS路线不同,dots.tts不依赖离散语音Token的量化步骤,而是直接在连续隐空间执行逐块自回归建模,再还原为波形。项目采用Apache 2.0协议,开放六个检查点及训练、推理、微调、蒸馏全套代码。

方法/产品要点

  • 模型规模:20亿参数,全连续端到端自回归架构。
  • 核心路径:跳过离散Token量化,在连续隐空间逐块建模并还原波形。
  • 流式能力:支持流式输出;1T1A双流模式下音频首包低至54.4毫秒。
  • 并行能力:SGLang单卡最高支持16路并行。
  • 开源范围:Apache 2.0协议,开放六个检查点,附带训练、推理、微调、蒸馏全套代码。
  • 配套工具:推出dots.tts.edit,支持文本、情绪、韵律、停顿四类编辑。

主要结果或产业意义

  • 在Seed-TTS-Eval三个子集上,平均内容准确度与说话人相似度达到SOTA(具体分数原文未列)。
  • 低至54.4毫秒的首包延迟与16路并行能力,为实时语音交互和规模化部署提供了可能。
  • 连续隐空间路线避开离散Token量化,可能降低信息损失,为TTS基座模型提供了一条不同于主流方案的技术路径。
  • 全栈开源(含微调与蒸馏代码)降低了学术界和产业界在TTS基座上的二次开发门槛。

为什么重要

当前TTS领域的主流路线多采用离散语音Token(如通过HuBERT或类似编码器量化),dots.tts选择了"全连续"路径,是一个重要的技术路线对照。同时,它附带可控编辑工具dots.tts.edit,将生成与编辑统一在同一基座下,指向"语音基座模型+可控编辑"的产品化方向。开源六个检查点和完整训练/蒸馏代码,也为后续研究者复现和扩展提供了基础。

局限与不确定性

  • 原文未披露Seed-TTS-Eval三个子集的具体榜单分数,仅称平均指标达SOTA,具体数值待核实。
  • 原文未提及训练数据规模、来源、版权与授权处理方式,待核实。
  • 原文未说明20亿参数的具体结构(如层数、隐层维度、是否含文本编码器),待核实。
  • 原文未说明1T1A双流模式的具体含义及与单流模式的取舍,待核实。
  • 原文未披露模型在中文、英文等多语言上的覆盖范围与效果差异,待核实。
  • 原文未披露声音克隆、音色授权及滥用防护机制,待核实。
  • 原页面为腾讯研究院AI速递的汇总条目,非dots.tts官方技术报告,细节需以项目官方发布为准。

可用于图书/PPT/简报的角度

  • 技术趋势:从离散Token到连续隐空间——TTS基座模型的路线之争。
  • 开源观察:Apache 2.0 + 完整训练/蒸馏代码,TTS基座进入"开源可复现"阶段。
  • 产品化:54.4毫秒首包延迟 + 流式输出 + 四类可控编辑,"实时语音Agent"的基座条件正在成熟。
  • 生态对比:可与Seed-TTS、CosyVoice等开源TTS基座对比,讨论连续表征与离散表征的优劣。

与既有脉络的关系

已有卡片中AA-Briefcase与OpenRouter Fusion均属大模型代理能力与推理融合评估,本条dots.tts则聚焦语音合成基座,三者都是"模型能力评测/落地"的不同切面。增量信息在于:dots.tts采用Seed-TTS-Eval作为评测基准,在TTS专用评估集上取得SOTA,体现了与前述通用代理基准不同的垂直领域评测路径。

原始材料

  • 来源:腾讯研究院AI速递 20260814(搜狐号)
  • URL:https://m.sohu.com/a/1062532068_455313
  • 原始条目:"小红书开源dots.tts,连续自回归语音合成基座"(文中第六条)
  • 日期:2026-08-14(据URL及页面标题推断,待核实)