高级语义修复策略的跨模态融合RGB-D显著性检测

摘要：

针对显著区域定位不完整以及边缘模糊问题,提出一种RGB-D显著性目标检测方法.该方法首先设计了一个跨模态特征融合模块来逐层融合RGB和Depth信息,并得到六个模态融合特征输出.该模块降低了RGB和Depth信息之间存在的差异性,为后续的高级语义修复提供更具共性和互补性的深层特征;基于上述模块获得的多层次信息,利用后三层特征,联合提取更丰富的高级语义信息,并得到初始显著图.之后,采用U-Net的网络结构,从网络的顶层向下融合,每一层经过上采样之后与下一层进行通道维度上的融合,前三层底层特征在融合前后采用高级语义特征进行指导,以完成对底层特征的修复.最后,得到最终的显著图.提出的跨模态特征融合模块能够自适应地融合多模态特征,突出融合特征的共性和互补性,降低融合的模糊度.提出的高级语义修复策略有助于准确检测出显著区域并提高边缘清晰度.实验结果表明,该算法在NJU2K、NLPR、STERE、DES、SIP五个数据集上均超过大部分优秀的方法,达到了较为先进的性能.

关键词：RGB-D、显著性目标检测、跨模态融合、高级语义修复

所属期刊栏目：17

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家自然科学基金;贵州省科技计划项目

在线出版日期：2023-01-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共14页

页码：140-153