基于注意力机制的多层次编码和解码的图像描述模型

摘要：

图像描述任务是图像理解的一个重要分支,它不仅要求能够正确识别图像的内容,还要求能够生成在语法和语义上正确的句子.传统的基于编码器-解码器的模型不能充分利用图像特征并且解码方式单一.针对这些问题,提出一种基于注意力机制的多层次编码和解码的图像描述模型.首先使用Faster R-CNN(Faster Region-based Convolutional Neural Network)提取图像特征,然后采用Transformer提取图像的3种高层次特征,并利用金字塔型的融合方式对特征进行有效融合,最后构建3个长短期记忆(LSTM)网络对不同层次特征进行层次化解码.在解码部分,利用软注意力机制使得模型能够关注当前步骤所需要的重要信息.在MSCOCO大型数据集上进行实验,利用多种指标(BLEU、METEOR、ROUGE-L、CIDEr)对模型进行评价,该模型在指标BLEU-4、METEOR和CIDEr上相较于Recall(Recall what you see)模型分别提升了2.5个百分点、2.6个百分点和8.8个百分点;相较于HAF(Hierarchical Attention-based Fusion)模型分别提升了1.2个百分点、0.5个百分点和3.5个百分点.此外,通过可视化生成的描述语句可以看出,所提出模型所生成的描述语句能够准确反映图像内容.

关键词：图像描述、卷积神经网络、长短期记忆网络、多层次编码、多层次解码、注意力机制

所属期刊栏目：41

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目61402174

在线出版日期：2021-09-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：2504-2509