基于模态特异及模态共享特征信息的多模态细粒度检索

摘要：

跨模态检索的目标是用户给定任意一个样本作为查询样例,系统检索得到与查询样例相关的各个模态样本,多模态细粒度检索在跨模态检索基础上强调模态的数量至少大于两个,且待检索样本的分类标准为细粒度子类,存在多模态数据间的异构鸿沟及细粒度样本特征差异小等难题.引入模态特异特征及模态共享特征的概念,提出一种多模态细粒度检索框架MS2Net.使用分支网络及主干网络分别提取不同模态数据的模态特异特征及模态共享特征,将两种特征通过多模态特征融合模块进行充分融合,同时利用各个模态自身的特有信息及不同模态数据间的共性及联系,增加高维空间向量中包含的语义信息.针对多模态细粒度检索场景,在center loss函数的基础上提出multi-center loss函数,并引入类内中心来聚集同类别且同模态的样本,根据聚集类内中心来间接聚集同类别但模态不同的样本,同时消减样本间的异构鸿沟及语义鸿沟,增强模型对高维空间向量的聚类能力.在公开数据集FG-Xmedia上进行一对一与一对多的模态检索实验,结果表明,与FGCrossNet方法相比,MS2Net方法mAP指标分别提升65％和48％.

关键词：信息检索、多模态检索、细粒度检索、多模态表征学习、深度学习

所属期刊栏目：48

分类号：TP391.3(计算技术、计算机技术)

资助基金：国家自然科学基金;国家社会科学基金

在线出版日期：2022-11-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：62-68,76