基于关键帧的双流卷积网络的人体动作识别方法

摘要：

针对视频序列中人体动作识别存在信息冗余大、准确率低的问题,提出基于关键帧的双流卷积网络的人体动作识别方法.该方法构建了由特征提取、关键帧提取和时空特征融合3个模块构成的网络框架.首先将空间域视频的单帧RGB图像和时间域多帧叠加后的光流图像作为输入,送入VGG16网络模型,提取视频的深度特征;其次提取视频的关键帧,通过不断预测每个视频帧的重要性,选取有足够信息的有用帧并汇聚起来送入神经网络进行训练,选出关键帧并丢弃冗余帧;最后将两个模型的Softmax输出加权融合作为输出结果,得到一个多模型融合的人体动作识别器,实现了对视频的关键帧处理和对动作的时空信息的充分利用.在UCF-101公开数据集上的实验结果表明,与当前人体动作识别的主流方法相比,该方法具有较高的识别率,并且相对降低了网络的复杂度.

关键词：关键帧、双流网络、动作识别、特征提取、特征融合

所属期刊栏目：11

分类号：TP391.41;TP181(计算技术、计算机技术)

资助基金：国家自然科学基金61872042,61572077;北京市自然科学基金委和北京市教委联合重点项目KZ201911417048

在线出版日期：2020-04-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：716-721