AI消息速览

MonoIR-RS:面向红外遥感视觉-语言学习的CLIP和VLM适配

事件日期 2026-07-07 · 学术前沿 · 已接受

事件日期2026-07-07
信息日期2026-07-07
入库日期2026-07-08
通道学术前沿
状态已接受
来源arXiv 论文

知识卡片:MonoIR-RS:面向红外遥感视觉-语言学习的CLIP和VLM适配

一句话结论:MonoIR-RS是一个大规模红外遥感视觉-语言数据集与基准,通过CLIP风格对比适应和VLM指令微调,显著提升了模型对红外图像的理解能力,使VLM描述中红外线索覆盖率达到100%,RGB颜色泄漏降至近零。

事件概述或研究问题
红外遥感图像能捕捉强度结构、目标-背景对比度及不受光照影响的线索,而这些在RGB图像中常不可见。然而,现有的遥感视觉-语言资源与模型大多聚焦于可见光波段,红外遥感视觉-语言理解仍未被充分探索。MonoIR-RS旨在填补这一空白,提供一个受控、可复现的测试平台,将红外模态与语言对齐。

方法/产品要点

  • 数据集构建:从与FusionRS相同的源池和划分中构建,生成60万张合成红外图像,并保留59,032条红外感知描述记录。模型实验使用该保留的语言监督子集,其描述围绕灰度结构和红外风格对比度(而非RGB外观)重新编写。
  • 合成红外图像在AVIID基准上被证明比灰度转换更接近真实热红外图像。
  • 微调了5个CLIP骨干网络和6个VLM骨干网络,并对比零样本行为进行校准。

主要结果或产业意义

  • 红外感知适配使CLIP平均召回率提升高达12.8个百分点。
  • VLM描述中红外线索覆盖率达到100%,同时残留的RGB颜色泄漏降至接近零。
  • 通过将红外模态从RGB-IR双模态学习中分离出来,MonoIR-RS为红外遥感证据与语言的对齐提供了可控、可复现的测试平台,对夜间、恶劣天气等场景下的遥感智能应用具有潜在价值。

为什么重要
红外遥感在不依赖可见光的条件下提供关键信息,但此前缺乏专门的视觉-语言数据集与模型评估。MonoIR-RS首次大规模地将红外图像与语言监督协同,并证明了针对红外特性的适配能显著提升模型性能,推动了遥感多模态理解在红外领域的进展。

局限与不确定性

  • 材料未明确提及局限。待核实:合成红外图像与真实红外图像之间仍存在差异,真实场景下的泛化能力尚需进一步验证;数据集规模(约6万条描述记录)是否能覆盖所有典型红外遥感场景有待评估。

可用于图书/PPT/简报的角度

  • 强调红外遥感在夜间、烟雾、伪装等RGB失效场景下的独特优势。
  • 以“MonoIR-RS如何让AI学会‘看见’红外图像中的结构特征”为切入点,展示CLIP和VLM在单一模态上的自适应能力。
  • 对比零样本与微调后的性能提升,直观体现领域适配的重要性。

原始材料

  • 论文标题:MonoIR-RS: Infrared Remote Sensing Vision-Language Learning with CLIP and VLM Adaptation
  • arXiv ID:2607.06552v1
  • URL:https://arxiv.org/abs/2607.06552v1
  • 关键词:infrared remote sensing, vision-language learning, CLIP, VLM, dataset, benchmark