基于宽度学习方法的多模态信息融合

摘要：

多模态机器学习通过有效学习各个模态的丰富特征来解决不同模态数据的融合问题.考虑到模态间的差异性,基于宽度学习方法提出了一个能够学习和融合两种模态特征的框架,首先利用宽度学习方法分别提取不同模态的抽象特征,然后将高维特征表示在同一个特征空间进行相关性学习,并通过非线性融合得到最后的特征表达,输入分类器进行目标识别.相关实验建立在康奈尔大学抓取数据集和华盛顿大学RGB-D数据集上,实验结果验证了相比于传统的融合方法,所提出的方法具有更好的稳定性和快速性.

关键词：宽度学习方法、多模态融合、相关性分析、特征提取、非线性变换、目标识别、神经网络、RGB-D图像分类

所属期刊栏目：14

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金项目61673238;国家高技术研究发展计划课题2015AA042306;山西省回国留学人员科研资助项目2015-045,2016-044

在线出版日期：2019-03-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：150-157