知识卡片：Omni-Embed-Mini——通过稠密蒸馏为文本嵌入模型绑定多模态而不遗忘

英文标题保留：Omni-Embed-Mini: Binding Modalities Without Forgetting via Dense Distillation 英文关键词保留：omni-modal embedding; dense distillation; Matryoshka SigLIP contrastive loss; hard-negative mining; LoRA; catastrophic forgetting; shared cosine space

一句话结论

据摘要级信息，Omni-Embed-Mini 用 0.9B 参数、在不更新任何文本侧参数的前提下，把文本、语音、音频、图像、视频与富视觉文档映射到同一余弦空间，使文本检索能力在结构上无法退化；但其正文未能抓取，除元数据外的所有细节与数字均待核实。

事件概述或研究问题

• 常见问题：把纯文本嵌入模型扩展到新模态，通常以牺牲文本检索质量为代价（灾难性遗忘式的退化）。
• 已有做法的代价：现有全模态嵌入器倾向于用数十亿参数来"补偿"这种退化。
• 本文提出的问题：能否用更小的模型、在不牺牲文本检索能力的情况下完成模态扩展？
• （待核实：任务定义、评测模态清单、是否为预印本、是否经过同行评审。）

方法/产品要点

以下均来自候选摘要，未与正文核对，待核实：

1. 共享骨干 + 冻结文本侧：教师与学生共享同一骨干权重，处于"逐字节一致"（byte-identical）的几何空间。待核实：骨干具体型号与规模。
2. 教师信号无需独立模型：每个媒体样本配一段"稠密级联描述"（dense cascaded caption），教师目标就是冻结骨干对该描述的自身嵌入——即一种自蒸馏形式。
3. 轻量对齐组件：轻量投影器，加上挂在模态编码器上的分阶段 LoRA 适配器即可完成对齐。待核实：LoRA 的秩、阶段划分、可训练参数占比。
4. 训练配方：Matryoshka SigLIP 对比损失 + 在线混合难负样本挖掘器（负样本随编码器变强而变难）。
5. 可迁移性：换成原生视觉语言骨干后，该配方可扩展到 2.3B 变体。
6. 发布物：模型、代码、数据与评测 harness 发布在项目页 https://omniembed.cvmbzuai.com 。待核实：许可条款与发布范围。

主要结果或产业意义

以下数字来自摘要，待核实：

• 文本权重与骨干逐位一致，因此训练在结构上不能使文本检索退化；报告 MTEB-v2 BEIR-8 上 nDCG@10 = 49.57。
• 在文本之外扩展了五个额外模态。
• 相比所对比的每一个开放全模态嵌入器，小约 2.7× 到 9.5×。
• 2.3B 变体据称与闭源 gemini-embedding-2 具竞争力，并在"全模态平均"上略胜。
• 待核实：对比模型清单、参数量口径、评测协议、以及"全模态平均"的加权方式。

为什么重要

• 与既有脉络的关系（增量信息）：已有卡片中的 REDDIT（回放式分布编辑、避免 ASR 灾难性遗忘）、Direct-OPD（策略蒸馏迁移）、Patch Policy（轻量适配复用预训练密集表示）都围绕"新增能力但不破坏既有能力"与"轻量化适配"。本条把同一组思路搬到多模态嵌入领域，增量有两点：其一，教师信号由同一骨干对稠密描述的自嵌入产生，不需要额外的教师嵌入模型；其二，给出"文本权重逐位不变"这一可检验的强保证，把"不遗忘"从统计指标变成架构性质。
• 产业角度：若结论成立，全模态检索有望在 0.9B 量级模型上达成，从而显著降低显存、延迟与部署成本，而无需为多模态能力单独训练一个数十亿参数的嵌入器。

局限与不确定性

• 正文未抓取：所有方法细节、超参、消融、榜单数字均为待核实。
• "逐位一致"只保证文本侧不退化，不保证跨模态检索质量的绝对水平；跨模态对齐效果待核实。
• 教师信号依赖生成式"稠密级联描述"的质量与覆盖度，字幕偏差可能被蒸馏放大。待核实。
• 对比对象 gemini-embedding-2 为闭源模型，复现性受限。待核实。
• 0.9B / 2.3B 的参数量口径（是否包含模态编码器、投影器、LoRA）待核实。
• 摘要中"每个开放全模态嵌入器"的对比范围与选择标准待核实。
• arXiv 编号与版本状态（2610.02148v1）应以原文页面为准，待核实。

可用于图书/PPT/简报的角度

• "不遗忘"的架构性解法：不是靠正则化或多任务损失，而是直接把会遗忘的参数冻住。
• 自蒸馏：教师不必是另一个模型，骨干自己就可以当教师。
• 对齐经济学：小模型 + 轻量适配 vs. 大参数堆叠，多模态对齐的成本曲线。
• 可复用的训练配方模板：Matryoshka 表示 + 在线难负样本挖掘。
• 强主张的可检验性："文本权重逐位不变"这类可被第三方直接验证的声明，可作为讨论论文可信度与可复现性的案例。

原始材料

• 英文标题：Omni-Embed-Mini: Binding Modalities Without Forgetting via Dense Distillation
• arXiv：https://arxiv.org/abs/2610.02148v1
• 项目页：https://omniembed.cvmbzuai.com
• 抓取状态说明：正文未能抓取，本卡片仅基于已知元数据与摘要级信息；标注"待核实"处需回原文确认。