一种基于邻域度量关系的RGB-D融合语义分割算法

摘要：

针对深空探测活动中地外环境复杂和计算资源受限,导致语义分割精度较低的问题,提出了一种基于邻域度量关系的RGB-D融合语义分割算法.该算法采用多模态的RGB-D信息取代传统的单目相机数据,并以中期融合框架构建基础网络,且额外设计了邻域度量关系模块来优化表现.具体来说,中期融合网络针对不同尺度的原始特征执行精炼、融合、跳接等操作,实现跨模态数据以及跨层级特征的有效互补.进一步地,结合语义特征图与语义标签,以不增加网络推理开销的方法构建邻域度量关系,从全局及局部特征中挖掘样本类别之间的关联信息,提升分割网络的性能.分别在室内数据集NYUDv2和火星模拟场地数据集MARSv1上进行实验,结果表明多模态RGB-D信息以及邻域度量关系均能显著提升语义分割的精度.

关键词：深度学习、语义分割、RGB-D融合、邻域度量关系

所属期刊栏目：45

分类号：TP24(自动化技术及设备)

资助基金：国家重点研发计划;国防科工局稳定支持科研项目;中国博士后科学基金面上项目;浙江省万人计划杰出人才项目

在线出版日期：2023-04-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：156-165