基于多流融合网络的 3D骨架人体行为识别

摘要：

当前大多基于卷积神经网络的 3D骨架人体行为识别模型没有充分挖掘骨架序列所蕴含的几何特征,为了弥补这方面的不足,文章在AIF-CNN模型的基础上进行改进,提出多流融合网络模型(MS-CNN).在此模型中,新增一种几何特征(kernel特征)作为输入,起到了丰富原始特征的作用;新增多运动特征,使模型学习到更加健壮的全局运动信息.最后,在NTU RGB+D 60 数据集上进行消融实验,分别在NTU RGB+D 60 数据集、NTU RGB+D 120数据集上,将MS-CNN模型与19、8 个行为识别模型进行对比实验.消融实验结果表明:MS-CNN模型采用joint特征与kernel特征融合,其识别准确率比与core特征融合的高;随着多运动特征的增多,MS-CNN模型的识别准确率有所提高.对比实验结果表明:MS-CNN模型在 2 个评估策略下的识别准确率超过了大部分对比模型(包括基准AIF-CNN模型).

关键词：人体行为识别、3D骨架、多流融合网络、卷积神经网络

所属期刊栏目：55

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金

在线出版日期：2023-04-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：94-101