多模态深度神经网络的固废对象分割
目的 对城市发展过程中产生的建筑固废进行处理,并将之转换为资源和能源,是极佳的保护环境的经济发展模式.然而人工分拣处理存在效率低、污染严重、对人身危害大等问题.目前工业界在探索一种有效的基于机械臂自动抓取的建筑固废自动分拣系统,其中图像分割技术是非常必要的一个环节.但是工业现场的环境因素造成固废对象的颜色严重退化,会影响最终的固废对象分割.本文针对建筑固废图像分割难度大的现状,提出一种基于多模态深度神经网络的方法来解决固废对象分割问题.方法 首先,在颜色退化严重的场景下,把RGB图像和深度图一起作为深度卷积神经网络的输入,利用深度卷积神经网络进行高维特征学习,通过softmax分类器获得每个像素的标签分配概率.其次,基于新的能量函数建立全连接条件随机场,通过最小化能量函数寻找全局最优解来分割图像,从而为每一类固废对象产生一个独立的分割块.最后,利用局部轮廓信息计算深度梯度,实现同一类别的不同实例的固废对象精确分割.结果 在固废图像测试集上,该方法取得了90.02％均像素精度和89.03％均交并比(MIOU).此外,与目前一些优秀的语义分割算法相比,也表现出了优越性.结论 本文方法能够对每一个固废对象同时进行有效的分割和分类,为建筑垃圾自动分拣系统提供准确的固废对象轮廓和类别信息,从而方便实现机械臂的自动抓取.
多模态信息、固废对象分割、卷积神经网络、条件随机、深度梯度
24
TP391(计算技术、计算机技术)
国家自然科学基金项目61876167,U1509207
2019-08-07（万方平台首次上网日期，不代表论文的发表时间）
共12页
1136-1147
