空间约束下自相互注意力的RGB-D显著目标检测

摘要：

针对RGB-D显著目标检测问题,提出空间约束下自相互注意力的RGB-D显著目标检测方法.首先,引入空间约束自相互注意力模块,利用多模态特征的互补性,学习具有空间上下文感知的多模态特征表示,同时计算两种模态查询位置与周围区域的成对关系以集成自注意力和相互注意力,进而聚合两个模态的上下文特征.然后,为了获得更互补的信息,进一步将金字塔结构应用在一组空间约束自相互注意力模块中,适应不同空间约束下感受野不同的特征,学习到局部和全局的特征表示.最后,将多模态融合模块嵌入双分支编码-解码网络中,解决RGB-D显著目标检测问题.在4个公开数据集上的实验表明,文中方法在RGB-D显著目标检测任务上具有较强的竞争性.

关键词：RGB-D显著目标检测、多模态融合、自注意力机制、卷积神经网络

所属期刊栏目：35

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;安徽省自然科学基金青年项目;安徽高校协同创新项目

在线出版日期：2022-07-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：526-535