融合卷积注意力机制的图像描述生成模型

摘要：

图像描述模型需要提取出图像中的特征,然后通过自然语言处理(NLP)技术将特征用语句表达出来.现有的基于卷积神经网络(CNN)和循环神经网络(RNN)搭建的图像描述模型在提取图像关键信息时精度不高且训练速度缓慢.针对这个问题,提出了一种基于卷积注意力机制和长短期记忆(LSTM)网络的图像描述生成模型.采用Inception-ResNet-V2作为特征提取网络,在注意力机制中引入全卷积操作替代传统的全连接操作,减少了模型参数的数量.将图像特征与文本特征有效融合后送入LSTM单元中完成训练,最终产生描述图像内容的语义信息.模型采用MSCOCO数据集进行训练,使用多种评价指标(BLEU-1、BLEU-4、METEOR、CIDEr等)对模型进行验证.实验结果表明,提出的模型能够对图像内容进行准确描述,在多种评价指标上均优于基于传统注意力机制的方法.

关键词：图像描述、卷积神经网络、自然语言处理、长短期记忆神经网络、卷积注意力机制

所属期刊栏目：40

分类号：TP391(计算技术、计算机技术)

资助基金：江西省教育厅科技项目;江西理工大学校级重点课题资助项目

在线出版日期：2020-04-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：23-27