一种顾及空间语义的跨模态遥感影像检索技术

摘要：

随着遥感影像获取的场景和目标内容日益丰富,传统的基于关键字和属性字段的检索手段无法反映对于影像内容的语义检索,导致用户无法从大规模影像中获取满足需求语义的数据.OpenAI发布的语言-图像预训练对比模型(CLIP),为跨模态开放要素检索提供了重要的模型支撑,但其在顾及空间语义关系等复杂跨模态检索任务上能力不足.本文提出了一种顾及空间语义关系的跨模态遥感影像检索技术,基于CLIP构建跨模态遥感影像检索模型GEOCLIP,通过对比学习方法训练,习得富含空间语义与开放信息的双模态语义对齐公共表示空间,特别针对遥感影像跨模态空间语义检索问题,引入遥感影像和文本表达中的空间关系提取,实现融合空间语义的跨模态检索.本文提出的顾及空间语义的跨模态遥感影像检索技术,在RSICD Dataset数据集上进行了验证,其R@1,R@5,R@10和mR指标均达到目前最优,其中平均召回率mR相较于CLIP提升了 3.45％,相较于已公开发表的最优方法GaLR提升了 77.22％.GEOCLIP在各种空间查询上的平均召回率mR全部优于CLIP,其中针对at、near、around的空间查询提升效果最大,分别为3.72％、8.85％、7.11％.

关键词：对比语言-图像预训练、跨模态检索、遥感影像、空间语义

所属期刊栏目：18

分类号：TP751(遥感技术)

资助基金：创新研究专项基金资助项目2022C61540

在线出版日期：2023-07-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：328-335,385