融合深度典型相关分析和对抗学习的跨模态检索

摘要：

文中提出一种融合深度典型相关分析和对抗学习的跨模态检索方法(DCCA-ACMR),该方法提高了无标签样本的利用率,能够学习到更有力的特征投影模型,进而提升了跨模态检索准确率.具体而言,在DCGAN框架下:1)在图像与文本两个单模态的表示层间增加深度典型相关分析约束,构建图文特征投影模型,充分挖掘样本对的语义关联性;2)以图文特征投影模型作为生成器,以模态特征分类模型作为判别器共同构成图文跨模态检索模型;3)利用有标签样本和无标签样本,在生成器和判别器的相互对抗中学习到样本的公共子空间表示.在Wikipedia和NUSWIDE-10k两个公开数据集上,采用平均准确率均值(mAP)作为评价指标对所提方法进行验证.图像检索文本和文本检索图像的平均mAP值在两个数据集上分别为0.556和0.563.实验结果表明,DCCA-ACMR优于现有的代表性方法.

关键词：跨模态检索;深度典型相关分析;对抗学习;深度卷积生成对抗网络

所属期刊栏目：48

分类号：TP391.3(计算技术、计算机技术)

资助基金：国家自然科学基金;西部一流大学科研创新项目;宁夏大学研究生创新项目

在线出版日期：2021-09-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：200-207