BnBERT-iPET 是一种面向孟加拉语的稀疏少样本语言建模方法,通过彩票假设剪枝将模型剪至 10% 的边(即 90% 稀疏度),在少样本下游任务上可与 Bangla Electra、Indic-BERT、XLM-RoBERTa 等大模型“并驾齐驱”。
大型预训练语言模型(如 BERT)在 NLP 任务中表现优异,但其训练和推理成本高、耗时、碳足迹大,且在低计算能力设备上难以部署。对于孟加拉语等资源受限语言,训练复杂模型存在额外障碍。作者提出 BnBERT-iPET,探索能否用极稀疏的少样本模型在挑战性任务上接近大模型性能。