一种通用的跨模态遥感信息关联学习方法

摘要：

针对"异质鸿沟"问题导致的不同模态遥感信息间相似性难以度量的问题,构建并公开了一个包含4种模态信息的跨模态遥感数据集,并基于不同模态信息间潜在的语义一致性,提出了一种通用的跨模态遥感信息关联学习方法.利用深度神经网络的表征能力,分别对图像类信息和序列类信息设计各模态信息的特征学习网络,实现对不同模态高层语义信息的准确表示;设计了一个新的关联学习损失函数对模态内的语义一致性和模态间的互补性进行限制,利用知识蒸馏的思想,以先融合后迁移各模态间信息的方式增强模态间的语义相关性.在构建的数据集上进行实验,结果表明,所提方法平均精度均值达到70％,超过基准方法.

关键词：跨模态检索、关联分析、深度学习、遥感图像、特征表示

所属期刊栏目：47

分类号：P237(摄影测量学与测绘遥感)

资助基金：国家自然科学基金;国家自然科学基金;国家自然科学基金

在线出版日期：2023-01-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：1887-1895