知识卡片:ufakzeka-kulak——从零构建的 31.6M 参数土耳其语语音识别器
一句话结论
ufakzeka-kulak 是一个从零训练、Apache-2.0 开源的 31.6M 参数土耳其语语音转文本模型,在 FLEURS 与 Common Voice 27.0 土耳其语测试集上的归一化词错误率(WER)均低于 Whisper base 和 Whisper small,但仍高于 Whisper large-v3。
事件概述或研究问题
该工作尝试在有限参数规模(31.6M)下,仅使用许可证允许商业用途的数据、从零训练一个土耳其语 ASR 模型,并回答两个问题:小模型能否在标准测试集上超过更大参数的通用 Whisper 中小型号;以及在严格“先固定发布门、后一次性评分”的评估协议下,模型性能如何被可复现地报告。
方法/产品要点
- 模型结构:FastConformer 编码器 + token-and-duration transducer(TDT)解码器 + CTC 头,参数量 31.6M,从零训练,Apache-2.0 发布。
- 输出形式:带大小写、带标点的土耳其语文本,数字以单词形式写出。
- 训练数据:共 4,977 小时,均来自允许商业使用的来源;其中 281 小时为人工转写,其余 4,696 小时的文本为上传者字幕或机器转写,仅在“对音频的第二次独立读取与之一致”时才保留。
- 实验纪律:配方、检查点、标注与导出选择均在开发集上决定;测试集只在训练前固定的发布门中评分一次。
- 附加报告:标点与大小写表现、退化音频表现,以及每个发布导出与训练模型的接近程度。
主要结果或产业意义
- FLEURS 土耳其语测试:贪心 TDT 解码归一化 WER 为 0.0921(95% 区间 0.0792–0.1055)。
- Common Voice 27.0 土耳其语测试:WER 为 0.0916(0.0873–0.0958)。
- 对比 Whisper:在两个测试集上均低于 Whisper base 与 Whisper small,配对区间完全位于零以下;Whisper large-v3(贪心)分别为 0.0604 与 0.0767,仍优于本模型。
- 对话语音:WER 为 0.3807,显示会话场景仍是明显短板。
- 产业意义:说明在许可证干净的数据与严格评估纪律下,数十兆参数级模型可在土耳其语标准测试集上超过通用大厂中小型号,为低资源/中等资源语言的合规 ASR 部署提供可行路径。
为什么重要
- 提供了一条“小参数 + 许可证合规数据 + 预注册式评估”的可复现基线,与依赖大规模网络抓取数据的通用模型形成对照。
- 数据构造中“第二独立读取一致性过滤”的做法,对使用弱标注(上传字幕、机器转写)训练 ASR 的工程实践具有参考价值。
- 明确报告对话语音 WER(0.3807)与导出保真度,避免只报标准测试集成绩的乐观偏差。
局限与不确定性
- 对话语音 WER 高达 0.3807,远高于朗读/标准测试集,实际会话场景可用性待核实。
- 4,696 小时弱标注数据的“第二独立读取”具体实现方式、一致性判定阈值,材料未展开,待核实。
- 标点、大小写、退化音频与导出保真的具体数值未在摘要中给出,待核实原文。
- 与 Whisper large-v3 的差距(0.0921/0.0916 对 0.0604/0.0767)表明参数量仍构成上限,是否可通过数据或解码策略缩小,待核实。
可用于图书/PPT/简报的角度
- “小模型也能打败大模型的中小型号”:31.6M 参数在土耳其语标准测试集上超过 Whisper base/small 的案例。
- “许可证干净的数据能否支撑可用 ASR”:商业可用数据 + 弱标注一致性过滤的数据工程路线。
- “预注册式评估”在语音模型发布中的实践:训练前固定发布门、测试集只评分一次。
- “标准测试集之外的真相”:对话语音 WER 0.3807 与标准集 0.09 量级的反差,适合用来说明基准与部署场景的落差。
与既有脉络的关系
本卡片与“SpecFirst”卡片同属“从零构建”范式,但对象从程序合成换为语音识别模型;其增量信息在于:以许可证合规数据与预注册评估协议,验证小参数模型在特定语言标准测试集上对通用大模型中小组件的可超越性,并同时披露对话场景的显著退化。
原始材料
- 标题:ufakzeka-kulak: Building and Evaluating a 31.6M-Parameter Turkish Speech Recognizer from Scratch
- 作者:Sait Furkan Teke
- arXiv ID:2611.03605v1(cs.CL;eess.AS)
- 发布:2026-11-02T18:42:32Z
- Abstract URL:https://arxiv.org/abs/2611.03605v1
- PDF URL:https://arxiv.org/pdf/2611.03605v1
发现内容有误?
免登录提交,管理员审核并完成修正后才会公开修订说明。
值得关注
提供了一条“小参数 + 许可证合规数据 + 预注册式评估”的可复现基线,与依赖大规模网络抓取数据的通用模型形成对照。 数据构造中“第二独立读取一致性过滤”的做法,对使用弱标注(上传字幕、机器转写)训练 ASR 的工程实践具有参考价值。 明确报告对话语音 WER(0.3807)与导出保真度,避免只报标准测试集成绩的乐观偏差。
相关主题
对应的教材知识点
根据卡片内容自动匹配,点击查看已审核的教材讲解: