融合图像特征的单阶段点云目标检测

摘要：

使用图像信息补充三维点云的几何和纹理信息,可以对三维物体进行有效地检测与分类.为了能够更好地将图像特征融入点云,设计了一个端到端的深度神经网络,提出了一个新颖的融合模块PI-Fusion(point cloud and image fusion),使用图像特征以逐点融合的方式来增强点云的语义信息.另外,在点云下采样的过程中,使用距离最远点采样和特征最远点采样的融合采样方式,以在小目标上采样到更多的点.经过融合图像和点云特征的三次下采样之后,通过一个候选点生成层将点移动到目标物体的中心.最后,通过一个单阶段目标检测头,得出分类置信度和回归框.在公开数据集KITTI的实验表明,与3DSSD相比,此方法在简单、中等、困难难度的检测上分别提升了3.37、1.92、1.58个百分点.

关键词：图像识别、点云目标检测、多模态特征融合

所属期刊栏目：59

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;浙江省自然科学基金项目;浙江省自然科学基金项目

在线出版日期：2023-05-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：140-149