知识卡片：基于吉兹语的非洲语言词汇扩展——阿姆哈拉语与提格雷尼亚语的比较研究
一句话结论
VEXMLM通过对XLM-R进行30,000个吉兹语子词词汇扩展和两阶段训练，在阿姆哈拉语和提格雷尼亚语的问答、情感分析和命名实体识别任务上显著超越基线模型，并将提升迁移到17种未扩充的低资源非洲语言。
事件概述或研究问题
多语言预训练语言模型（PLM）在低资源、非拉丁文字语言上表现下降，主要原因是基于拉丁文字的分词器训练导致高未登录词（OOV）率和过度的子词碎片化。本研究针对吉兹（Ge'ez）文字体系下资源最丰富的两种语言——阿姆哈拉语（Amharic）和提格雷尼亚语（Tigrinya），提出词汇扩展方案VEXMLM，并进一步在另外17种低资源非洲语言上评估（共计19种语言）。
方法/产品要点
- 词汇扩展：在阿姆哈拉语和提格雷尼亚语的单语语料上训练语言专属的SentencePiece分词器，从该分词器提取30,000个吉兹语子词，添加到XLM-R的现有词汇中。
- 嵌入初始化：新子词的嵌入通过取其在原始XLM-R分词器下构成的子词嵌入的平均值来初始化。
- 两阶段训练：
- 在扩充词汇后的语料上进行连续掩码语言建模（continued masked language modeling）。
- 在问答（QA）、命名实体识别（NER）和情感分析（SA）任务上进行监督微调。
- 评估覆盖：既包括内在分词指标（词汇覆盖率、产生率、OOV率），也包括全部19种语言的外在任务性能。
主要结果或产业意义
- 阿姆哈拉语/提格雷尼亚语问答：VEXMLM的精确匹配（EM）达87.0，F1达90.0；XLM-R为66.0 EM/78.0 F1，Glot500为74.0 EM/78.0 F1。
- 情感分析：VEXMLM准确率80.0%，XLM-R为77.0%，Glot500为46.0%。
- 命名实体识别：在可进行OOV分析的11种语言上，OOV标记实体准确率从81.4%提升至94.3%。
- 迁移性：在阿姆哈拉语和提格雷尼亚语上获得的词汇和预训练增益可迁移到其余17种类型学相关的、未额外扩充的非洲语言。
为什么重要
该工作直接解决了多语言PLM对非拉丁文字低资源语言的系统性歧视问题，提出了一种轻量级、可复用的词汇扩展与初始化策略。与既有技术（如Glot500）相比，VEXMLM无需重新预训练整个模型，仅通过局部词汇扩展即可获得显著提升，且展现了跨语言迁移能力。这是首项系统研究吉兹语系语言在多语言模型中的分词困境并给出针对性解决方案的工作（增量信息：提供了针对吉兹文字的定制化扩展流程和跨语言迁移证据）。
局限与不确定性
- 文中未报告训练语料的具体规模、来源及数据预处理细节。
- 仅以XLM-R为基础模型，未验证其他多语言模型（如mBERT、mT5）上是否同样有效。
- 对17种额外低资源语言的具体任务性能数据未在摘要中给出，待核实完整论文。
- 词汇扩展规模（30,000子词）的选择依据及最优性未说明。
- 跨语言迁移的机制和上限尚未深入分析。
可用于图书/PPT/简报的角度
- 低资源语言NLP中的“词汇鸿沟”现象与解决方案
- 吉兹文字体系与非洲语言的数字化保护
- 多语言预训练模型的公平性与包容性：从拉丁中心主义到文字多样性
- 词汇嵌入初始化策略对迁移学习的影响
原始材料
- 英文标题：Expanding the Lexicon of Ge'ez Based African Languages: A Comparative Study of Amharic and Tigrinya
- 英文关键词：Ge'ez, African languages, Amharic, Tigrinya, VEXMLM, vocabulary extension, XLM-R
- 来源：arXiv:2607.15209v1，https://arxiv.org/abs/2607.15209v1
- 作者：Hailay Kidu Teklehaymanot, Debela Desalegn Yadeta, Wolfgang Nejdl
- 发布/更新日期：2026-07-16