手语识别与翻译综述

摘要：

不同于有声语言,手语主要由连续的手势动作构成.手语识别与翻译是促成听障人士与健听人士之间无障碍交流的重要手段.手语识别与翻译研究任务通过对手语视频进行处理分析并以文字形式显示识别结果,是一种典型的多领域交叉研究.近年来,基于深度学习的手语识别与翻译研究获得了长足的进步.为了便于研究者们系统、全面地了解手语识别与翻译研究任务,分别以手语识别和手语翻译两大任务为主线,从三方面展开综述工作:首先,对具备代表性的手语识别和手语翻译研究工作进行分类总结并分析其特点;其次,归纳整理当前常用的不同国别手语识别与翻译研究数据集,分别从孤立词和连续手语语句两个角度进行分类,同时根据手语识别和手语翻译研究任务的差异性,介绍了对应的评价指标体系;最后,从手语视觉特征的有效信息提取、多线索权重分配、手语与自然语言语法对应及手语数据集资源等方面总结了手语识别与翻译研究目前存在的主要挑战.

关键词：手语识别、手语翻译、深度学习、神经网络

所属期刊栏目：16

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;国家自然科学基金

在线出版日期：2022-11-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共15页

页码：2415-2429