融合TCN的时空域双流动态手势识别方法

摘要：

手势分为静态手势和动态手势,针对动态手势中手势轨迹不明显、短期时空特征得不到有效提取和利用,提出一种基于darknet(darknet53)算法融合时序卷积网络(TCN)的双流网络3D-darknet用于识别视频中的动态手势.该方法在3D-CNN的基础上将具有强大图像特征提取能力的darknet网络与短期时空特征提取的TCN网络结合,采用自适应的权重融合策略将短期时空特征和长期时间特征融合后得到对视频手势的识别,并在Jester数据集上对网络模型进行验证.实验结果表明,该网络结构对特定轨迹特征不明显的手势平均识别率达到91.17％,相比动态手势识别网络3D-densenet识别率85.49％提高了5.68％,具有更高的准确率,在双流网络的空间流中darknet网络去掉全连接层,利用平均池化直接输出提取的特征,减少了网络参数,提高了识别效率,并且3D-darknet网络需要更少的迭代次数,提高了识别的鲁棒性.

关键词：手势识别;darknet53网络;时序卷积网络;双流网络;卷积神经网络;特征提取;手势轨迹;短期时空特征

所属期刊栏目：45

分类号：TN911.73-34;TP183

资助基金：湖北省技术创新专项重大项目2019AAA011

在线出版日期：2022-02-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：50-55