基于多重注意结构的图像密集描述生成方法研究

摘要：

图像密集描述旨在为复杂场景图像提供细节描述语句.现有研究方法虽已取得较好成绩,但仍存在以下两个问题:1)大多数方法仅将注意力聚焦在网络所提取的深层语义信息上,未能有效利用浅层视觉特征中的几何信息;2)现有方法致力于改进感兴趣区域间上下文信息的提取,但图像内物体空间位置信息尚不能较好体现.为解决上述问题,提出一种基于多重注意结构的图像密集描述生成方法——MAS-ED(Multiple attention structure-encoder decoder).MAS-ED通过多尺度特征环路融合(Multi-scale feature loop fusion,MFLF)机制将多种分辨率尺度的图像特征进行有效集成,并在解码端设计多分支空间分步注意力(Multi-branch spatial step attention,MSSA)模块,以捕捉图像内物体间的空间位置关系,从而使模型生成更为精确的密集描述文本.实验在Visual Genome数据集上对MAS-ED进行评估,结果表明MAS-ED能够显著提升密集描述的准确性,并可在文本中自适应加入几何信息和空间位置信息.基于长短期记忆网络(Long-short term memory,LSTM)解码网络框架,MAS-ED方法性能在主流评价指标上优于各基线方法.

关键词：图像密集描述、多重注意结构、多尺度特征环路融合、多分支空间分步注意力

所属期刊栏目：48

分类号：TP391;TP183;H313

资助基金：国家自然科学基金;河北省自然科学基金;河北省重点实验室项目

在线出版日期：2022-11-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：2537-2548