知识卡片：MEOX：面向地球观测的紧凑多模态混合专家模型

一句话结论

MEOX（Multimodal Earth Observation with eXperts）是一个总参数仅 3.115M 的多模态掩码自编码器，面向地球观测中的异构传感器与缺失观测问题；它在多个 GEO-Bench 下游任务上取得强迁移表现，并在 EuroSAT 224 像素平均准确率、cashew 分割 mIoU 等结果上超过文中所报告的 CSMoE 结果。

事件概述或研究问题

地球观测表征学习近来需要同时处理异构传感器、不同分辨率、缺失观测等复杂情况，许多方法依赖更大的架构。MEOX 提出的问题是：能否用紧凑参数规模、混合专家式结构化设计，实现传感器灵活且可迁移的地球观测表征学习？

论文使用 1.228M MMEarth64 样本进行预训练，并在六个 GEO-Bench 任务上做 64 像素与 224 像素的冻结迁移评估，另在 BigEarthNet 上做微调评估。

方法/产品要点

• 模型全称：MEOX = Multimodal Earth Observation with eXperts，是一种多模态掩码自编码器。
• 参数规模：编码器约 2.939M 参数，模型总参数约 3.115M。
• 模态专用处理：使用传感器专属适配器、显式有效性信号和共享稀疏专家块，在学习的 patch-wise 融合前保留模态依赖的处理。
• 元数据机制：4 个元数据 token 伴随单条空间序列，共同进入后续 14 个编码器块。
• 参数控制：采用共享专家投影加私有低秩残差，限制参数增长。
• 注意力与网格迁移：使用旋转注意力（rotary attention），支持与预训练空间网格不同的下游输入网格。
• 预训练数据与任务：在 1.228M MMEarth64 样本上，使用模态平衡掩码重建和结构化传感器 dropout 进行预训练。
• 评估方式：在六个 GEO-Bench 任务上以 64/224 像素冻结迁移；在 BigEarthNet 上微调。

主要结果与产业意义

• cashew 分割（64 像素）：达到 64.42% 平均交并比（mean IoU）。
• EuroSAT（224 像素）：达到 90.56% 平均准确率。
• 上述结果超过文中所报告的 CSMoE 结果；CSMoE 的具体数值、全称和比较设置待核实。
• BigEarthNet 微调：micro-average precision 达到 72.95%。
• 路由诊断结果可区分专家参与度、空间依赖性、模态关联与功能贡献。
• 在 held-out WorldCover probe 中，元数据带来 0.64 个百分点的增益。
• 检索结果可以区分同传感器语义关系与跨传感器对齐关系。
• 产业意义：该结果提示，面向遥感/地球观测的表示学习不一定要靠大规模参数堆叠；紧凑 MoE 加上合理设计也可能获得良好迁移效果。产业落地相关的计算量、部署成本与具体业务效果属于推断，原文摘要未展开，待核实。

为什么重要

MEOX 的增量信息在于：它把混合专家思想用到了“地球观测多模态表征”这个具体领域，并且强调紧凑参数预算，而不是继续扩大架构。相比已有 MoE 相关卡片中的具身视频预训练、低秩适配路由、分布式指令微调等方向，MEOX 代表的是遥感/多模态基础模型中的“小型化 + 结构化设计”路线：用传感器专属适配器、显式有效性信号、共享稀疏专家、私有低秩残差和元数据 token 来控制参数增长，同时保持跨任务迁移能力。

局限与不确定性

• 本卡片仅基于 arXiv 摘要与元数据，未阅读论文全文。
• 摘要中只给出 MEOX 自身的关键数字，没有给出 CSMoE 的对应结果和完整比较协议；因此“超过 CSMoE”的具体范围待核实。
• 关于 MMEarth64 样本、GEO-Bench 六个任务、WorldCover probe、BigEarthNet 的数据划分、预处理和评测细节，摘要中未交代。
• “路由诊断”“检索区分语义/对齐”等分析只有结论，没有具体图、表或统计显著性信息。
• 作者元数据显示为 Mohanad Albughdadi；完整作者名单、所属机构、代码和权重是否公开均不在摘要范围内，待核实。

可用于图书/PPT/简报的角度

• 主题示例：“3.1M 参数的多模态 MoE 也能做好地球观测表征学习？”
• 数据呈现：总参数 3.115M、编码器 2.939M；EuroSAT 224 像素 90.56% 平均准确率；cashew 64 像素 64.42% mIoU；BigEarthNet 72.95% micro-average precision。
• 方法讲解：用“共享专家 + 私有低秩残差”控制参数；“显式有效性信号”应对缺失观测；元数据 token 如何提供额外信息；旋转注意力如何支持不同下游空间网格。
• 对比视角：当“更大架构”成为应对异构传感器的一种常见路径时，MEOX 提供一种“紧凑 + 结构化”的另一路径。

原始材料

• 英文标题：MEOX: Compact Multimodal Mixture-of-Experts for Earth Observation
• 英文关键词：Earth Observation; Multimodal Masked Autoencoder; Mixture-of-Experts; Sensor-Specific Adapters; Validity Signals; Compact Parameter Budget
• arXiv ID：2609.05351v1
• 分类：cs.CV
• Published：2026-09-04T16:59:36Z
• Authors（元数据）：Mohanad Albughdadi
• Abstract URL：https://arxiv.org/abs/2609.05351v1
• PDF URL：https://arxiv.org/pdf/2609.05351v1