基于深度质量感知和分层特征引导的RGB-D显著性检测

摘要：

现有基于融合的RGB-D显著性物体检测方法在对跨模态特征进行融合时忽视了RGB和深度图两模态特征的差异性,跨模态特征融合不均衡的问题使得模型不能充分利用跨模态互补特征,而低质量深度图也会对模型性能带来损害.提出一种基于深度质量感知和分层特征引导的RGB-D显著性物体检测算法.算法分为两个阶段:深度质量感知阶段和分层特征引导阶段.在第一阶段,利用深度质量感知从现有的主流RGB-D显著性物体检测训练数据集中挖掘高质量深度图,对训练集进行增强,提升低质量深度图的质量,减少噪声数据对模型性能的损害;在第二阶段,利用特征引导网络对RGB图和深度图进行分层自适应权重动态融合,在有效增加融合效率的同时增强跨模态融合的感知能力.在基准数据集NJUD、NLPR、SSD、STEREO和SIP上的实验结果表明,相比于SSF、CDNet、D3Net、DASNet等方法,该算法能够大幅提升深度图质量,其中在NLPR数据集上F-Measure值为0.934,MAE仅为0.020,综合性能优于其他相关SOTA方法,证明了先挖掘高质量深度图再进行跨模态自适应动态融合算法的有效性.

关键词：深度质量感知、特征引导、跨模态融合、分层融合、RGB-D显著性检测

所属期刊栏目：49

分类号：TP391(计算技术、计算机技术)

资助基金：山东省自然科学基金博士项目ZR2019BF011

在线出版日期：2023-05-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：255-261,268