时域注意力Dense-TCNs在多模手势识别中的应用

摘要：

为增强时间卷积网络(TCNs)在时间特征提取方面的能力,提出一种基于三维密集卷积网络与改进TCNs的多模态手势识别方法.通过时空特征表示方法将手势视频分析任务分为空间分析和时间分析两部分.在空间分析中采用三维DenseNets学习短期的时空特征,在时间分析中使用TCNs提取时间特征.在此基础上引入注意力机制,使用时域维度的压缩-激励网络调整每个TCNs层特征在时间维度上的权值比重.分别在VIVA和NVGesture两个动态手势数据集上对该方法进行评价,实验结果表明,该方法在VIVA数据集上的正确率为91.54％,在NVGesture数据集上的正确率为86.37％,且与最新的MTUT方法水平相近.

关键词：手势识别、三维密集卷积网络、时间卷积网络、短时时空特征、注意力机制

所属期刊栏目：46

分类号：TP391.4(计算技术、计算机技术)

资助基金：国家自然科学基金;浙江省自然科学基金重点项目

在线出版日期：2020-10-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：101-109