知识卡片：Yalda-Embedding——面向波斯语检索的开放竞争型嵌入模型

一句话结论

Yalda Embedding 以 Qwen3-Embedding-0.6B 为基座、用超过一百万对查询—文档数据微调出 5.958 亿参数的波斯语稠密检索模型，在 FaMTEB 的八项波斯语检索任务上取得所评估 0.6B 模型中最高宏平均 0.5488，并接近 4B 规模模型的表现。

事件概述或研究问题

多语言文本表示虽有进展，但波斯语的高效稠密检索仍受限于语言特定训练资源不足与紧凑嵌入模型稀缺。该工作提出并开放 Yalda Embedding，试图在 0.6B 参数量级上做出有竞争力的波斯语检索模型，并完整公开数据与训练流程。

方法/产品要点

• 基座：Qwen3-Embedding-0.6B；参数量 595.8M。
• 训练数据：超过一百万对查询—文档对。
• 训练/消融变量：对比学习批大小、优化稳定性处理、以及来自 F2LLM-v2-8B 的关系知识蒸馏。
• 训练设置：单轮（one-epoch）训练。
• 开放内容：模型权重、训练与评估代码、成对数据集及其“教师嵌入”对应版本。

主要结果或产业意义

• 在 FaMTEB 的八项波斯语检索任务上，宏平均 0.5488，为所评估 0.6B 模型中最高；在每一项任务上都优于 Qwen3-Embedding-0.6B 与 F2LLM-v2-0.6B。
• 与 Qwen3-Embedding-4B 相比：四项任务胜出、一项持平，宏平均落后 0.0075。
• 消融：单轮设置下，仅做对比微调相对初始化只有温和的平均提升，并在两项任务上出现回退。
• 最终蒸馏配置在全部八项任务上均优于非蒸馏模型，平均分从 0.4813 提升到 0.5488，且不增加推理时模型规模。
• 收益覆盖了难负例评估任务，尽管训练中并未显式挖掘或提供难负例。

为什么重要

• 在紧凑模型尺寸下补上了波斯语检索的语言特定资源与模型缺口，并给出可复现的开放发布（权重、代码、数据、教师嵌入）。
• 公开“教师嵌入”版本可让后续研究免于重复昂贵的教师推理，降低复现与再开发成本。
• 表明关系知识蒸馏能在不增大推理模型的前提下，把 0.6B 级波斯语检索模型的全部任务表现整体抬升。

局限与不确定性

• 评测范围限于 FaMTEB 的八项波斯语检索任务，其他语种、其他检索基准或生成式任务上的表现待核实。
• 摘要未给出各任务的逐项分数、置信区间或显著性检验，相关细节待核实。
• 单轮训练设置下的结论是否可外推到多轮或更大规模数据，待核实。
• 数据构成、清洗与去重细节需查阅随附数据集与代码，摘要中未展开。

可用于图书/PPT/简报的角度

• “小模型 + 知识蒸馏”在低资源语言检索上的性价比路径。
• 开放科学实践：权重、代码、数据、教师嵌入一并释放，作为可复现研究的范例。
• 单轮训练下对比微调的收益边界：为何需要蒸馏来补齐全部任务。
• 紧凑模型逼近 4B 模型的实证案例（波斯语检索）。

与既有脉络的关系

本条为新增主题（波斯语稠密检索与嵌入模型开放开发），与既有卡片（RetroCoT 安全诊断、自由回忆神经网络记忆策略、扩散模型指纹分离）无直接重复；增量信息在于提供非英语、低资源语言的检索模型训练与开放发布实践。

原始材料

• 标题：Yalda-Embedding: Open Development of a Competitive Persian Retrieval Model
• 作者：Yalda Taheri, Mohammad Hassan Heydari, Armon Rasooli
• arXiv ID：2610.32933v1（cs.CL；cs.AI）
• 发布/更新：2026-10-23T17:30:40Z
• 摘要页：https://arxiv.org/abs/2610.32933v1
• PDF：https://arxiv.org/pdf/2610.32933v1
• 关键词：Persian retrieval；dense retrieval；embedding model；knowledge distillation；FaMTEB；Qwen3-Embedding