融合注意力机制的LSTM-GCN网络人体行为识别

摘要：

针对现有人体骨架行为识别方法中因只侧重于视频数据中时间或空间信息的单独提取而存在的时空特征提取不充分的问题,提出一种融合注意力机制的LSTM-GCN网络.该网络设计为LSTM层和图卷积层两层,其中LSTM层重点提取骨架序列的时间信息,图卷积层重点提取骨架序列的空间信息.同时在两个网络层中融入了注意力机制,并按人体骨骼点对整体动作贡献程度对其分配不同的权重,实现了对数据中显著特征及关键帧的增强识别.两个网络层按一定的比重融合后利用Softmax对动作进行分类识别.为验证该方法的优越性,在Kinetics和NTU-RGB+D两个比较典型的公开数据集上进行了仿真实验和消融实验.同时录制了一些相似度高、易混淆的视频,并对其识别结果可视化,再次证明该方法的普适性.实验结果表明该方法可以有效增强人体骨骼行为识别性能,并在计算精度和识别效率上具有一定的优势.

关键词：骨架序列、人体行为识别、图卷积网络、注意力机制、消融实验、深度学习、双层卷积网络

所属期刊栏目：45

分类号：TN711-34(基本电子电路)

资助基金：国家重点研发计划2018YFF0300304-04

在线出版日期：2022-10-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：93-98