一种结合空间特征的图像注意力标注算法改进研究

摘要：

针对图像标注和attention机制结合过程中特征选择不充分和预测过程中对空间特征权重比例不足的问题,提出了一种结合空间特征的注意力图像标注方法.首先通过卷积神经网络得到图像特征,特征区域与文本标注序列匹配;然后通过attention机制给标注词汇加权,结合空间特征提取损失函数得到基于空间特征注意力的图像标注;最后分别在Flickr30k和MS-COCO两个数据集上进行验证,通过可视化显示该模型如何自动学习显著区域并生成相应的词汇输出序列.实验结果表明,该方法能较好地提取注意力区域并给出标注,与其他模型对比能够得到更好的标注结果.

关键词：视觉注意力、图像标注、空间特征

所属期刊栏目：36

分类号：TP391(计算技术、计算机技术)

资助基金：闽江学院福建省信息处理与智能控制重点实验室开放课题资助项目MJUKF201740

在线出版日期：2019-05-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：288-291,315