基于多头注意力网络的无监督跨媒体哈希检索

摘要：

跨媒体哈希检索将不同媒体数据编码到公共二值哈希空间中,从而可以有效地测量不同模态样本之间的相关性.为了进一步提高检索性能,提出基于多头注意力网络的无监督跨媒体哈希检索方法.首先,利用多头注意力网络生成哈希码矩阵,使图像和文本能获得更好的匹配.其次,构造一个辅助相似度矩阵,用以整合来自不同模态的原始邻域信息.通过辅助相似度矩阵与哈希码矩阵的协同学习,能够捕获不同模态之间和相同模态内部的潜在联系.此外,设计了两种损失函数训练网络模型,并使用批量归一化和更换哈希码生成函数的策略对模型进行优化,使模型的训练速度得到大幅提升.在3个数据集上的实验表明,本方法的平均性能比目前国际上先进的无监督方法有显著提升,充分证明了本方法的有效性和优越性.

关键词：卷积神经网络、多头注意力网络、跨媒体哈希检索、无监督学习、协同学习、辅助相似度矩阵、批量归一化

所属期刊栏目：51

资助基金：国家自然科学基金;国家自然科学基金;国家自然科学基金;国家自然科学基金;国家自然科学基金;国家自然科学基金;广西自然科学基金资助项目

在线出版日期：2022-03-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共16页

页码：2053-2068