基于RGB-D的反向融合实例分割算法

摘要：

RGB-D图像在提供场景RGB信息的基础上添加了Depth信息,可以有效地描述场景的色彩及三维几何信息.结合RGB图像及Depth图像的特点,提出一种将高层次的语义特征反向融合到低层次的边缘细节特征的反向融合实例分割算法.该方法通过采用不同深度的特征金字塔网络(FPN)分别提取RGB与Depth图像特征,将高层特征经上采样后达到与最底层特征同等尺寸,再采用反向融合将高层特征融合到低层,同时在掩码分支引入掩码优化结构,从而实现RGB-D的反向融合实例分割.实验结果表明,反向融合特征模型能够在RGB-D实例分割的研究中获得更加优异的成绩,有效地融合了Depth图像与彩色图像2种不同特征图像特征,在使用ResNet-101作为骨干网络的基础上,与不加入深度信息的Mask R-CNN相比平均精度提高10.6％,比直接正向融合2种特征平均精度提高4.5％.

关键词：Depth图像;实例分割;特征融合;反向融合;掩码优化

所属期刊栏目：42

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金项目61876057,61971177

在线出版日期：2021-11-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：767-774