基于特征金字塔融合表征网络的跨模态哈希方法

摘要：

随着多模态数据的爆发式增长,跨模态检索作为一种搜索多模态数据的最常用方法,受到越来越多的关注.然而,目前存在的大多数深度学习的方法仅仅采用模型后端最后一个全连接层输出作为模态独有的高层语义表征,忽视了多个层次上不同尺度特征之间的语义相关性,具有一定的局限性.为此,本文提出一种基于特征金字塔融合表征网络的跨模态哈希检索方法.该方法设计了一种特征金字塔融合表征网络,通过在多个层次和不同尺度上进行特征提取并融合,挖掘多个层次上不同尺度下模态特征的语义相关性,充分利用模态特有的特征,使网络输出的语义表征更具有代表性.最后设计了三重损失函数:模态间损失,模态内损失和汉明空间损失对模型进行训练学习.实验结果表明,本文所提方法在MIRFLICKR-25K和NUS-WIDE数据集上均获得了良好的跨模态检索效果.

关键词：跨模态检索;特征金字塔融合表征;哈希

所属期刊栏目：37

分类号：TN911.73

资助基金：国家自然科学基金;福建省自然科学基金杰出青年项目;厦门市科技重大项目;厦门市科技局产学研协同创新项目;福建省教改项目

在线出版日期：2021-08-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：1252-1259