融合多模态数据的人体动作识别方法研究

摘要：

基于多模态融合的人体动作识别技术被广泛研究与应用,其中基于特征级或决策级的融合是在单一级别阶段下进行的,无法将真正的语义信息从数据映射到分类器.提出一种多级多模态融合的人体动作识别方法,使其更适应实际的应用场景.在输入端将深度数据转换为深度运动投影图,并将惯性数据转换成信号图像,通过局部三值模式分别对深度运动图和信号图像进行处理,使每个输入模态进一步转化为多模态.将所有的模态通过卷积神经网络训练进行提取特征,并把提取到的特征通过判别相关分析进行特征级融合.利用判别相关分析最大限度地提高两个特征集中对应特征的相关性,同时消除每个特征集中不同类之间的特征相关性,将融合后的特征作为多类支持向量机的输入进行人体动作识别.在UTD-MHAD和UTD Kinect V2 MHAD两个多模态数据集上的实验结果表明,多级多模态融合框架在两个数据集上的识别精度分别达到99.8％和99.9％,具有较高的识别准确率.

关键词：人体动作识别、深度运动图、惯性传感器、局部三值模式、判别相关分析

所属期刊栏目：48

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;甘肃省自然科学基金;甘肃省教育科技创新项目;甘肃省高校产业支撑计划项目

在线出版日期：2022-09-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：180-188