IndicTriMix 将社交媒体等场景中的三语混码语言识别建模为 token 级序列标注任务,基于 MuRIL 与 XLM-RoBERTa 微调,覆盖 Hindi、Gujarati、Bengali 三类数据配置,并公开人工标注测试基准与微调模型;但具体数据规模、标签体系与评测指标在摘要中未给出,待核实。
值得关注:混码语言识别是许多多语言 NLP 系统的前置环节。若 token 级语言标签不可靠,后续的机器翻译、内容审核、搜索、推荐、客服与本地化处理都可能受影响。IndicTriMix 的价值在于把问题从单语语言识别推进到三语混…