基于多模态深度学习的RGB-D物体识别

摘要：

针对现有RGB-D物体识别方法存在图像特征学习不全面、类间相似的物体识别精度不高等问题,联合稀疏自编码(sparse auto-encoder,SAE)及递归神经网络(recursive neural networks,RNNs)提出多模态稀疏自编码递归神经网络(multi-modal sparse auto-encoder and recursive neural networks,MSAE-RNNs)的深度学习模型.SAE结合卷积及池化技术分别从RGB-D图像的RGB图、灰度图、深度图、3D曲面法线中提取低层次的平移不变性特征,作为多个固定树RNNs的输入,得到更加抽象的高层特征,融合后的多模态特征,采用SVM分类器进行分类.在RGB-D数据集上的实验结果表明,该算法的物体识别率达到90.7％,较其它算法提高了3％ 9％,能很好完成RGB-D物体的识别.

关键词：多模态、稀疏自编码、递归神经网络、卷积及池化、3D曲面法线

所属期刊栏目：38

分类号：TP391.4(计算技术、计算机技术)

资助基金：国家自然科学基金面上基金项目41571396;国家创新训练基金项目201410488017;省级大学生创新创业训练计划基金项目201410488038;校级大学生科技创新基金项目14ZRA079、14ZRC093

在线出版日期：2017-07-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：1624-1629