基于层次注意力机制的高效视觉问答模型

摘要：

视觉问答(visual question answering,VQA)是深度学习领域的一个新挑战,需要模型同时根据问题的语义和图片的内容进行推理并给出正确答案.针对视觉问答图片输入的多样性,设计了一种由两层注意力机制堆叠组成的层次注意力机制,帮助模型定位图片中与问题相关的信息,其中第一层注意力机制使用目标检测网络提取图片中物体的特征,第二层注意力机制引入问题特征.同时改进了现有的特征融合方式,消除对输入特征尺寸的限制.VQA数据集的测试结果显示,层次注意力机制使计数类问题的回答准确率提升了4％～5％,其他类型的问题回答准确率也有小幅提升.

关键词：视觉问答、注意力机制、特征融合、目标检测

所属期刊栏目：38

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目61672136,61828202

在线出版日期：2021-03-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：636-640