基于跨模态多维关系增强的多模态模型研究

摘要：

针对当前多模态模型不能充分挖掘图像中非显著区域的空间关系和上下文间的语义关系,导致多模态关系推理效果不佳的问题,提出了一个基于跨模态多维关系增强的多模态模型(multi-dimensional relationship en-hancement model,MRE),用于提取潜层结构下图像各要素之间的空间关系信息,并推理出视觉—语言间的语义相关性.设计了特征多样性模块用于挖掘图像中与显著区域相关的次显著区域特征,从而增强图像空间关系特征表示.同时设计了上下文引导注意模块来引导模型学习语言上下文在图像中的关系,实现跨模态关系对齐.在MSCOCO数据集上的实验表明所提模型获得了更好的性能,其中BLEU-4和CIDEr分数分别提升了 0.5％和1.3％.将这种方法应用到视觉问答任务中,在VQA 2.0数据集上性能得到了 0.62％的提升,证明了该方法在多模态任务方面的广泛适用性.

关键词：图像描述、视觉问答、特征多样性、空间关系、上下文语义关系、特征融合、多模态编码

所属期刊栏目：40

分类号：TP183(自动化基础理论)

资助基金：国家自然科学基金;河南省高等学校重点科研资助项目;东北师范大学应用统计教育部重点实验室资助项目

在线出版日期：2023-08-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：2367-2374