融合PointNet和3D-LMNet的单幅图像三维重建及语义分割

摘要：

由单幅图像重建三维结构并感知三维对象的语义理解极具挑战性。针对单幅图像难以直接生成三维重建点云问题，提出一种融合PointNet与3D-LMNet的联合优化网络模型进行三维重建并完成语义分割。基于3D-LMNet网络进行训练生成三维点云，并完成局部分割，同时，对网络损失函数进行联合优化来预测分割点云。通过分割点云的语义信息改善重建效果，生成带有语义分割信息的三维点云重建模型。针对联合训练中真值点云和预测点云类别标签无点对点的对应关系问题，引入联合优化损失函数来提高重建和分割效果，生成最终三维重建模型。通过在ShapeNet数据集上实验验证，并与PointNet和3D-LMNet单独训练相比，所提模型在平均交并比（mIoU）上提高了4.23%，在倒角距离（CD）和EMD（earth mover’s distance）上分别降低了7.97%和6.04%，联合优化网络明显改善了重建和分割的点云模型。

关键词：深度学习、单幅图像、联合优化、三维重建、语义分割

所属期刊栏目：59

分类号：TP391.41;R445;TN919-34

在线出版日期：2022-10-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共1页

页码：1815010