基于双对抗自编码器的跨模态检索

摘要：

在自编码的学习过程中如何更好地保留原始特征及消除多模态数据分布的差异是一个重要的研究课题.因此,文中提出基于双对抗自编码器(DAA)的跨模态检索方法.使用全局对抗网络改进自编码器模态内重构过程,极小极大博弈的策略使模态内的原始特征和重构特征难以判别,更好地保留原始特征.隐含层对抗网络在生成模态不变表示的同时使模态间数据难以区分,有效减小多模态数据的分布差异.在Wikipedia、NUS-WIDE-10k数据集上的实验证明DAA的有效性.

关键词：跨模态检索、对抗网络、自编码器、模态差异

所属期刊栏目：33

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金项目;江苏省自然科学基金项目

在线出版日期：2021-02-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：1115-1121