跨层多模型特征融合与因果卷积解码的图像描述
目的 图像描述结果的准确合理性体现在模型对信息处理的两个方面,即视觉模块对特征信息提取的丰富程度和语言模块对描述复杂场景句子的处理能力.然而现有图像描述模型仅使用一个编码器对图像进行特征提取,容易造成特征信息丢失,进而无法全面理解输入图像的语义.运用RNN(recurrent neural network)或LSTM(long short-term memory)在对句子建模时容易忽略句子的基本层次结构,且对长序列单词的学习效果不佳.针对上述问题,提出一种跨层多模型特征融合与因果卷积解码的图像描述模型.方法 在视觉特征提取模块,对单个模型添加低层到高层的跨层特征融合结构,实现语义特征和细节特征之间的信息互补,训练出多个编码器对图像进行特征提取,在充分描述和表征图像语义方面起到补充作用.在语言模块中使用因果卷积对描述复杂场景的长序列单词进行建模处理,得到一组单词特征.使用attention机制将图像特征和单词特征进行连接匹配,用于学习文本信息与图像不同区域之间的相关性,最终通过预测模块结合Softmax函数得到单词的最终预测概率.结果 在MS COCO(Microsoft common objects in context)和Flickr30k两个数据集上使用不同评估方法对模型进行验证,实验结果表明本文提出的模型性能较好.反映生成单词准确率的BLEU(bilingual evaluation understudy)-1指标值高达72.1％,且在其他多个评估指标上优于其他主流对比方法,如B-4指标超过性能优越的Hard-ATT(“Hard” attention)方法6.0％,B-1和CIDEr(consensus-based image description evaluation)指标分别超过emb-g(embedding guidance) LSTM方法5.1％和13.3％,与同样使用CNN(convolutional neural network)+CNN策略的ConvCap(convdntioral captioning)方法相比,在B-1指标上本文模型提升了0.3％.结论 本文设计的模型能够有效提取和保存复杂背景图像中的语义信息,且具有处理长序列单词的能力,对图像内容的描述更准确、信息表达更丰富.
图像描述、跨层特征融合、卷积解码、因果卷积、attention机制
25
TP391(计算技术、计算机技术)
国家自然科学基金项目;江西省赣州市科技创新人才计划项目
2020-10-20（万方平台首次上网日期，不代表论文的发表时间）
共14页
1604-1617
