面向RGB-D场景解析的三维空间结构化编码深度网络

摘要：

有效的RGB-D图像特征提取和准确的3D空间结构化学习是提升RGB-D场景解析结果的关键.目前,全卷积神经网络(FCNN)具有强大的特征提取能力,但是,该网络无法充分地学习3D空间结构化信息.为此,提出了一种新颖的三维空间结构化编码深度网络,内嵌的结构化学习层有机地结合了图模型网络和空间结构化编码算法.该算法能够比较准确地学习和描述物体所处3D空间的物体分布.通过该深度网络,不仅能够提取包含多层形状和深度信息的分层视觉特征(HVF)和分层深度特征(HDF),而且可以生成包含3D结构化信息的空间关系特征,进而得到融合上述3类特征的混合特征,从而能够更准确地表达RGB-D图像的语义信息.实验结果表明,在NYUDv2和SUNRGBD标准RGB-D数据集上,该深度网络较现有先进的场景解析方法能够显著提升RGB-D场景解析的结果.

关键词：全卷积神经网络、图模型、空间结构化编码算法、分层视觉特征、分层深度特征、空间关系特征、混合特征

所属期刊栏目：37

分类号：TP391.413;TP18(计算技术、计算机技术)

资助基金：国家重点研发计划项目2016YFB1000400;国家自然科学基金资助项目60903098;中央高校自由探索基金资助项目HEUCF100606.This work is partially supported by the National Key Research and Development Program2016YFB1000400;the National Natural Science Foundation of China60903098;the Central University Free Exploration FundHEUCF100606

在线出版日期：2018-01-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：3458-3466