面向新概念学习的图像描述生成模型

摘要：

为了更好地在图像描述生成任务中对新概念进行学习和预测,在编码-解码框架下提出了一种新的面向新概念学习的图像描述生成模型(Att-DCC).该模型引入了带有空间注意力机制的卷积神经网络,将全局视觉特征、语义标签和经空间注意力作用后的视觉信息进行了较好的融合;此外,引入自适应注意力机制多模态层,将语义相近的概念学习结果迁移至新概念,降低训练过程的复杂程度并提升学习性能.采用Att-DCC模型在MSCOCO2014数据集上针对2批(分别为8和6个)共14个新概念进行了测试和分析,结果表明:充分的多模态融合方式和多种注意力机制对于提升学习效果有显著效果;Att-DCC模型在F1值上取得了42.56％ 和42.14％ 的平均结果,总体上取得了比具有代表性的NOC 模型和DCC 模型更准确的预测结果.

关键词：图像描述生成、注意力机制、卷积神经网络、新概念

所属期刊栏目：54

分类号：TP393(计算技术、计算机技术)

资助基金：国家重点研发计划资助项目;国家电网有限公司总部科技项目

在线出版日期：2020-12-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：37-44