基于长短时记忆和深度神经网络的 视觉手势识别技术

摘要：

针对基于视觉的动态手势识别易受光照、背景和手势形状变化影响等问题,在分析人体手势空间上下文特征的基础上,首先建立一种基于人体骨架和部件轮廓特征的动态手势模型,并采用卷积姿势机和单发多框检测器技术构造深度神经网络进行人体手势骨架和部件轮廓特征提取.其次,引入长短时记忆网络提取动态人体手势中骨架、左右手和头部轮廓的时序特征,进而分类识别手势.在此基础上,设计了一种空间上下文与时序特征融合的动态手势识别机(GRSCTFF),并通过交警指挥手势视频样本库对其进行网络训练和实验分析.实验证明,该系统可以快速准确识别动态交警指挥手势,准确率达到94.12％,并对光线、背景和手势形状变化具有较强的抗干扰能力.

关键词：手势识别、空间上下文、长短时记忆、特征提取

所属期刊栏目：41

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金项目;北京市科技计划项目

在线出版日期：2020-08-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：372-381