AI消息速览

谷歌开源EmbeddingGemma 2——端侧原生多模态嵌入模型

事件日期 2026-10-06 · 产业观察 · 已接受

事件日期2026-10-06
信息日期2026-10-09
入库日期2026-10-09
通道产业观察
状态已接受
来源腾讯研究院(搜狐同步)

知识卡片:谷歌开源EmbeddingGemma 2——端侧原生多模态嵌入模型

一句话结论

谷歌于2026年10月6日开源EmbeddingGemma 2,这是其首个原生多模态开源嵌入模型,以740M参数将文字、代码、图片、视频、音频映射进同一768维空间,面向端侧离线跨模态检索场景。

事件概述或研究问题

谷歌发布并开源EmbeddingGemma 2,定位为端侧可运行的原生多模态嵌入模型,目标是在手机等终端设备上实现跨模态检索(文本、代码、图像、视频、音频统一语义空间),并可搭配Gemma 4用于离线RAG。

方法/产品要点

  • 参数规模:740M。
  • 统一嵌入空间:768维,覆盖文字、代码、图片、视频、音频五种模态。
  • 上下文长度:8K,为上代4倍。
  • 语言支持:100多种语言。
  • 模块化加载:文本270M、视觉170M、音频300M可按需加载。
  • 内存占用(Pixel 11 Pro,量化后):完整模型约占567MB内存;纯文本最低约191MB。
  • 工具链支持:llama.cpp已支持;可搭配Gemma 4做离线RAG。
  • 定位:谷歌首个原生多模态开源嵌入模型。

主要结果或产业意义

  • 图像检索得分57.3,视频检索得分50.7;对比Jina v5 Omni-Nano分别为31.6与31.2。
  • MTEB Code由68.76升至78.68。
  • 端侧内存占用低至191MB(纯文本)意味着中高端手机可本地运行多模态检索,无需联网或云端推理,对隐私敏感场景、离线RAG、端侧AI应用开发具有直接推动意义。

为什么重要

  • 端侧多模态检索长期受限于模型体积与内存,EmbeddingGemma 2以模块化加载和量化将门槛拉低到手机可承受范围。
  • 统一768维空间覆盖五种模态,减少了为不同模态分别部署嵌入模型的工程复杂度。
  • 开源+llama.cpp支持降低了开发者接入门槛,可能加速端侧RAG和跨模态搜索应用的落地。
  • 与既有卡片中Kimi K3等大参数多模态模型形成互补:Kimi K3面向云端旗舰能力,EmbeddingGemma 2面向端侧轻量检索,共同推进多模态生态的分层化。

局限与不确定性

  • 材料未提及模型的具体架构细节(如是否基于Gemma架构、训练数据规模与来源),待核实。
  • 图像/视频检索得分与Jina v5 Omni-Nano的对比条件(数据集、评测协议)未在材料中说明,待核实。
  • 音频检索与跨模态对齐的具体评测结果未在材料中给出,待核实。
  • 量化后567MB/191MB的具体量化方案(如3bit/4bit)未说明,待核实。
  • 实际端侧推理延迟与吞吐表现未在材料中给出,待核实。

可用于图书/PPT/简报的角度

  • 端侧AI的“嵌入层”基础设施:从云端大模型到端侧小模型的检索能力下沉。
  • 多模态统一嵌入空间的工程价值:一个模型替代多个单模态嵌入模型。
  • 谷歌开源策略对比:Gemma系列在端侧生态的持续布局。
  • 离线RAG的技术栈组合:EmbeddingGemma 2 + Gemma 4 + llama.cpp。
  • 端侧内存优化案例:模块化加载与量化如何将多模态模型塞进手机。

与既有脉络的关系

既有卡片中的Kimi K3(2.8万亿参数)和蚂蚁灵波LingBot-VLA 2.0(60000小时物理数据预训练)代表了大参数云端多模态与具身智能方向;本卡片补充的是端侧轻量多模态检索这一分层,即多模态能力不仅向更大参数发展,也在向更低资源门槛下沉。

原始材料

  • 来源:腾讯研究院AI速递 20261009
  • URL:https://m.sohu.com/a/1085270738_455313?scm=10001.325_13-325_13.0.0-0-0-0-0.5_1334
  • 条目:四、谷歌开源EmbeddingGemma 2,端侧跨模态检索
  • 关键英文标题/关键词:EmbeddingGemma 2, multimodal embedding, on-device retrieval, 768-dim, llama.cpp, Gemma 4, MTEB Code, Jina v5 Omni-Nano, offline RAG

发现内容有误?

免登录提交,管理员审核并完成修正后才会公开修订说明。

值得关注

端侧多模态检索长期受限于模型体积与内存,EmbeddingGemma 2以模块化加载和量化将门槛拉低到手机可承受范围。 统一768维空间覆盖五种模态,减少了为不同模态分别部署嵌入模型的工程复杂度。 开源+llama.cpp支持降低了开发者接入门槛,可能加速端侧RAG和跨模态搜索应用的落地。 与既有卡片中Kimi K3等大参数多模态模型形成互补:Kimi K…

相关主题

对应的教材知识点

根据卡片内容自动匹配,点击查看已审核的教材讲解: