基于RGB-D视频的多模态手势识别

摘要：

本文是对SKIG RGB-D多模态的孤立手势视频进行手势识别研究.首先将RGB和Depth两种单模态视频提取成图片的形式保存,然后采样成长度为32帧的手势序列分别输入到本文提出的稠密连接的3DCNN组件学习短期的时空域特征,然后将提取的时空域特征输入到卷积GRU网络进行长期的时空域特征学习,最终对单模态训练好的网络进行多模态融合,提升网络识别准确率.本文在SKIG数据集上取得了99.07％的识别准确率,达到了极高的准确率,证明了本文提出的网络模型的有效性.

关键词：手势识别、稠密连接的3DCNN、卷积GRU、时空域特征

所属期刊栏目：27

资助基金：福建省自然科学基金2017J01744

在线出版日期：2019-03-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：234-239