基于语义特征立方体切片的人体动作识别

摘要：

基于深度学习的人体动作识别近几年取得了良好的识别效果,尤其是二维卷积神经网络可以较充分的学习人体动作的空间特征,但在捕获长时间的运动信息上仍存在问题.针对此问题,提出了基于语义特征立方体切片的人体动作识别模型来联合地学习动作的表观和运动特征.该模型在时序分割网络(Temporal Segment Net-works,TSN)的基础上,选取InceptionV4作为骨干网络提取人体动作的表观特征,将得到的三维特征图立方体分为二维的空间上和时间上的特征图切片.另外设计一个时空特征融合模块协同的学习多维度切片的权重分配,从而得到人体动作的时空特征,由此实现了网络的端到端训练.与TSN模型相比,该模型在UCF101和HMDB51数据集上的准确率均有所提升.实验结果表明,该模型在不显著增加网络参数量的前提下,能够捕获更丰富的运动信息,使人体动作的识别结果提高.

关键词：人体动作识别、特征立方体切片、特征融合、卷积神经网络、时空特征

所属期刊栏目：36

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金61179045

在线出版日期：2021-03-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：1897-1905