基于连续Skip-gram及深度学习的图像描述方法

摘要：

图像描述生成依赖于词向量及其质量,为了进一步提高生成图像描述的准确率,本文将连续Skip-gram模型引入生成图像描述的框架中.该框架首先利用连续Skip-gram学习单词的分布式表示,产生高质量的词向量,降低了词向量的计算复杂度,然后利用区域卷积神经网络对图像进行目标检测及特征提取,最后将词向量与图像特征向量分别作为循环神经网络的输入向量以及偏置向量,进而输出图像描述.实验结果表明:与m-RNN模型、Neural Image Caption模型、多模态循环神经网络模型相比较,采用连续Skip-gram模型的图像描述框架提高了图像描述的准确率及该框架的泛化能力.

关键词：深度学习、图像描述生成、Skip-gram、词向量

所属期刊栏目：31

分类号：TP391.4(计算技术、计算机技术)

资助基金：山西省科技攻关计划工业资助项目2015031003-1

在线出版日期：2017-12-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：423-427