融合word2vec和注意力机制的图像描述模型

摘要：

针对当前图像描述任务中,生成描述图像的语句整体质量不高的问题,提出一种融合word2vec和注意力机制的图像描述模型.在编码阶段,应用word2vec模型描述文本向量化操作,以增强词与词的相关性;应用VGGNet19网络提取图像特征,并在图像特征中融合注意力机制,使得模型在每一个时间节点上生成单词时能够突出相对应的图像特征.在解码阶段,应用GRU网络作为图像描述任务的语言生成模型,用以提高模型的训练效率和生成句子的质量.在Flickr8k和Flickr30k两个公共数据集上的实验结果表明,在同一训练环境下,GRU模型的训练时长比LSTM模型节省了1/3的时间,在BLEU和METEOR评价标准上,所提模型的性能得到了显著提升.

关键词：图像描述、word2vec、注意力机制、GRU模型

所属期刊栏目：46

分类号：TP391.41(计算技术、计算机技术)

资助基金：广西高校云计算与复杂系统重点实验室项目 yf17106 ,广西自然科学基金2018GXNSFAA138132 ,桂林电子科技大学研究生创新项目2018YJCX55

在线出版日期：2019-05-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：268-273