公共空间共享参数的跨模态检索研究

摘要：

针对跨模态检索中不同模态数据的数据结构和特性存在较大差异的问题,提出了基于公共空间方法的共享参数跨模态检索(SPCMR)方法:首先,利用卷积神经网络提取图像和文本的高级语义特征;然后,接入全连接层将其映射到公共空间并共享 2 个特征子网的部分隐层权重;最后,连接线性分类器并与标签信息进行判别训练.在公开数据集上采用平均精度(mAP)作为评价指标进行实验.结果表明:SPCMR方法能充分利用跨模态间的语义信息,有效提升图文检索的精度.

关键词：跨模态检索、公共空间、共享参数

所属期刊栏目：55

分类号：TP391(计算技术、计算机技术)

资助基金：广东省科技攻关计划项目201903010103

在线出版日期：2023-04-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：88-93