结合视觉注意机制与递归神经网络的图像检索
目的 图像检索是计算机视觉的一项重要任务.图像检索的关键是图像的内容描述,复杂图像的内容描述很具有挑战性.传统的方法用固定长度的向量描述图像内容,为此提出一种变长序列描述模型,目的是丰富特征编码的信息表达能力,提高检索精度.方法 本文提出序列描述模型,用可变长度特征序列描述图像.序列描述模型首先用CNN(convolutional neural network)提取底层特征,然后用中间层LSTM(long short-term memory)产生局部特征的相关性表示,最后用视觉注意LSTM(attention LSTM)产生一组向量描述一幅图像.通过匈牙利算法计算图像之间的相似性完成图像检索任务.模型采用标签级别的triplet loss函数进行端对端的训练.结果 在MIRFLICKR-25K和NUS-WIDE数据集上进行图像检索实验,并和相关算法进行比较.相对于其他方法,本文模型检索精度提高了5～12个百分点.相对于定长的图像描述方式,本文模型在多标签数据集上能够显著改善检索效果.结论 本文提出了新的图像序列描述模型,可以显著改善检索效果,适用于多标签图像的检索任务.
图像检索、序列描述模型、特征提取、匈牙利算法、卷积神经网络、LSTM
22
TP391(计算技术、计算机技术)
国家自然科学基金项目U1435219National Natural Science Foundation of ChinaU1435219
2017-03-17（万方平台首次上网日期，不代表论文的发表时间）
共8页
241-248
