基于光流和深度运动图的行为识别算法

摘要：

为了融合不易受光照等环境因素影响的深度信息和RGB视频序列中丰富的纹理信息,提出一种基于光流和深度运动图(Depth Motion Map,DMM)的人体行为识别算法.首先从RGB视频序列获取彩色信息(RGB视频帧)和光流信息,并且从同步的深度视频序列获取深度信息,以增强特征互补性,其次把3种特征信息分别作为基于ResNet101的空间流网络、时间流网络和深度流网络的输入,通过LSTMs进行特征融合,最后将特征送入Softmax层得到每个行为类别的概率值.实验结果表明,在具有挑战性的UTD-MHAD数据集和MSR Daily Activity 3D数据集上的行为识别准确率分别为94.86％和97.69％,在与该领域中的同类算法比较中表现优异.

关键词：人体行为识别、光流、RGB、深度运动图像、ResNet101、LSTMs

所属期刊栏目：38

分类号：TP391.41(计算技术、计算机技术)

资助基金：海南省重点研发计划项目;海南省自然科学基金

在线出版日期：2020-08-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：116-123