三维点云与图像双模态融合的空间目标部件识别方法

摘要：

针对二维图像目标识别准确率高但缺乏空间位置信息,三维点云几何信息精确但无语义信息的特点,为结合不同维度数据的优势,提出一种三维点云与二维图像双模态融合的空间目标部件识别方法.首先基于DeepLabv3+网络进行图像目标分割,并对分割目标进行语义标记;其次,提出一种最近邻查找方法降低重建位姿误差带来的三维点云与二维目标映射过程中的语义信息缺失,实现三维点云与二维图像目标间的准确语义关联;最后,利用全连接条件随机场对具备语义信息的三维点云识别结果进行优化,得到更加精细的点云语义标签,融合多视角数据得到最终点云部件识别结果.仿真结果表明相较于传统聚类分割方法,本文方法可以有效地识别出空间目标的各部件,总体识别精度优于95％.

关键词：空间目标部件识别、双模态融合、语义分割、位姿重建、全连接条件随机场

所属期刊栏目：44

分类号：V19(航空、航天的应用)

资助基金：国家自然科学基金;基础加强计划;中央高校基本科研业务费专项

在线出版日期：2023-06-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：796-804