基于语义增强特征融合的多模态图像检索模型

摘要：

为了在多模态图像检索任务中建立文本特征与图像特征的相关性,提出基于语义增强特征融合的多模态图像检索模型(SEFM).该模型通过文本语义增强模块、图像语义增强模块2部分在特征融合时对组合特征进行语义增强.在文本语义增强模块建立多模态双重注意力机制,利用双重注意力建立文本与图像之间的关联以增强文本语义;在图像语义增强模块引入保留强度和更新强度,控制组合特征中查询图像特征的保留和更新程度.基于以上2个模块可以优化组合特征使其更接近目标图像特征.在MIT-States和Fashion IQ这2个数据集上对该模型进行评估,实验结果表明在多模态图像检索任务上该模型与现有方法相比在召回率和准确率上都有所提升.

关键词：多模态、语义增强、特征融合、图像检索、注意力机制

所属期刊栏目：57

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;辽宁省教育厅科学研究面上资助项目

在线出版日期：2023-03-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：252-258,391