基于深度学习的图像描述研究

摘要：

卷积神经网络 (Convolution Neural Networks,CNN) 和循环神经网络 (Recurrent Neural Networks,RNN)在图像分类、计算机视觉、自然语言处理、语音识别、机器翻译、语义分析等领域取得了迅速的发展,引起了研究者对计算机自动生成图像描述的广泛关注.目前图像描述存在的主要问题有输入文本数据稀疏、模型存在过拟合、模型损失函数震荡难以收敛等问题.文中使用NIC作为基线模型,针对数据稀疏问题,改变了基线模型中的文本one-hot表示,使用word2vec对文本进行映射,为了防止过拟合,在模型中加入了正则项和使用Dropout技术,并在词序记忆方面取得创新,引入联想记忆单元GRU,用于文本生成.在试验中使用AdamOptimizer优化器进行参数迭代更新.实验结果表明:改进后的模型参数减少且收敛速度大幅加快,损失函数曲线更加平滑,损失最大降至2.91,模型的准确率比NIC提高了接近15%.实验有效地验证了在模型当中使用word2vec对文本进行映射可明显缓解数据稀疏问题,加入正则项和使用Dropout技术可有效防止模型过拟合,引入联想记忆单元GRU能够大幅减少模型训练参数,加快算法收敛速度,进而提高整个模型的准确率.

关键词：卷积神经网络、循环神经网络、门控循环单元、自然语言处理、图像描述

所属期刊栏目：47

分类号：TP3(计算技术、计算机技术)

资助基金：国家科技支撑计划2015BAF02B01;中国科学院网络化控制系统重点实验室2015BAF02B00

在线出版日期：2018-03-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：9-16