多特征像素级融合的遮挡物体6DoF姿态估计研究

摘要：

为了解决目前机器人在物体被遮挡以及光照不足的环境下难以实现精准6DoF姿态估计的问题,提出了一个基于像素级特征融合的神经网络框架.该框架包含三个模块,分别为RGB特征提取网络模块、像素融合结构模块以及6D姿态回归网络模块.其中RGB特征提取网络主要用于分割目标物体并进行特征的提取;像素融合结构负责将RGB特征和三维多视角特征进行融合;最后一个模块将三维点云像素进行融合,并输出物体6D姿态结构.通过在YCB-Video数据集、LINEMOD数据集以及处理后的YCB-Occlusion数据集上的实验证明,所提出的像素级融合网络能在物体被遮挡以及物体点云数据丢失等情况下有效预测出物体的6D姿态,并且其计算效率在损失少量精确度的情况下比其他网络提高了上百倍,且具有较强的鲁棒性.

关键词：像素级融合、卷积神经网络、点云特征融合、6DoF姿态估计

所属期刊栏目：14

分类号：TP242.6+2(自动化技术及设备)

资助基金：The National Natural Science Foundation of China under Grant Nos.91748107,61703109国家自然科学基金;the Innovative Research Team Program of Guangdong Province under Grant No.2014ZT05G157广东省引进创新科研团队计划项目;the Sci-ence and Technology Innovation Strategy Special Funds of Guangdong Province under Grant No.pdjh2020a0173广东省科技创新战略专项资金

在线出版日期：2020-12-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：2072-2082