基于深度学习中间层卷积特征的图像标注

摘要：

针对基于深度特征的图像标注模型训练复杂、时空开销大的不足,提出一种由深度学习中间层特征表示图像视觉特征、由正例样本均值向量表示语义概念的图像标注方法.首先,通过预训练深度学习模型的中间层直接输出卷积结果作为低层视觉特征,并采用稀疏编码方式表示图像;然后,采用正例均值向量法为每个文本词汇构造视觉特征向量,从而构造出文本词汇的视觉特征向量库;最后,计算测试图像与所有文本词汇的视觉特征向量相似度,并取相似度最大的若干词汇作为标注词.多个数据集上的实验证明了所提出方法的有效性,就F1值而言,该方法在IAPR TC-12数据集上的标注性能比采用端到端深度特征的2PKNN和JEC分别提高32％和60％.

关键词：深度学习、图像标注、卷积、正例均值向量、特征向量

所属期刊栏目：40

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金项目61300089;辽宁省自然科学基金项目201602199,2019-ZD-0182;辽宁省高等学校创新人才支持计划项目LR2016071

在线出版日期：2019-11-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：872-877