基于CNN-LSTM双流融合网络的危险行为识别

摘要：

针对目前人体危险行为识别过程中由于时空特征挖掘不充分导致精度不够的问题,对传统双流卷积模型进行改进,提出了一种基于CNN-LSTM的双流卷积危险行为识别模型.该模型将CNN网络与LSTM网络并联,其中CNN网络作为空间流,将人体骨架空间运动姿态分为静态与动态特征进行分别提取,两者融合作为空间流的输出;在时间流中采用改进的可滑动长短时记忆网络,以增加人体骨架时序特征的提取能力;最后将两个分支进行时空融合,利用Softmax对危险动作做出分类识别.在公开的NTU-RGB+D数据集和Kinetics数据集上的实验结果表明,改进后模型的平均跨角度(Cross view,CV)精度达到 92.5％,平均跨视角(Cross subject,CS)精度为87.9％.所提方法优于改进前及其他方法,可以有效地对人体危险动作做出识别,同时对于模糊动作也有较好的区分效果.

关键词：人体骨架、危险行为识别、卷积神经网络、长短时记忆网络、融合实验

所属期刊栏目：38

分类号：TP391(计算技术、计算机技术)

资助基金：国家重点研发计划2018YFF0300304-04

在线出版日期：2023-04-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：132-140