基于注意力机制的复杂背景连续手语识别

摘要：

提出一种基于注意力机制的连续手语识别算法ACN(attention-based 3D convolutional neural network),能够识别复杂背景下的连续手语.该算法首先利用背景去除模块,对包含复杂背景的手语视频进行预处理;然后,通过基于空间注意力机制的3D-ResNet(3D residual convolutional neural network)提取时空融合信息;最后,采用结合时间注意力机制的长短期记忆(long short-term memory,LSTM)网络进行序列学习,得到最终的识别结果.算法在大规模中国连续手语数据集CSL100上表现优异;在面向不同复杂背景的情况下,算法表现出良好的泛化性能,模型引入的时空注意力机制是切实有效的.

关键词：连续手语识别、复杂背景、注意力机制、长短期记忆

所属期刊栏目：69

分类号：TP391.2(计算技术、计算机技术)

资助基金：国家自然科学基金;湖北省杰出青年基金;武汉市应用基础前沿项目

在线出版日期：2023-04-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：97-105