10.3969/j.issn.1672-9870.2021.03.017
基于双通道Mask-RCNN的手势识别
光照、复杂的背景以及多变的手势一直以来都是手势识别的难点,随着采集设备的不断发展,深度相机采集到的深度数据为彩色数据增添了更多的特征信息,有效地解决了光照变化带来的手势识别率不高的问题.此外,深度学习能够从图像中自动学习有效的手势特征,避免了传统方法在特征提取时遇到的耗时较多的问题.因此结合深度学习与RGB-D数据的优势,提出一种以RGB-D数据为输入的双通道的Mask RCNN网络.该网络在原有网络的基础上增加了一个深度特征提取通道,并在特征层面上将RGB特征和预处理后得到的深度特征进行融合.最后为了避免训练模型出现过拟合现象,提出采用扰动交叠率算法,进一步提高手势检测的识别率.实验结果表明,本方法相比较于仅采用彩色图的Mask RCNN网络,在简单数据集上的识别率提高了2.77%,在困难数据集上提高了4.39%.
深度学习、手势识别、RGB-D、双通道Mask RCNN、扰动交叠率算法
44
TP391(计算技术、计算机技术)
国家自然科学基金;国家自然科学基金
2021-07-05(万方平台首次上网日期,不代表论文的发表时间)
共9页
109-117