DFSMN-T:结合强语言模型Transformer的中文语音识别

摘要：

自动语音识别系统由声学模型和语言模型两部分构成,但传统语言模型N-gram存在忽略词条语义相似性、参数过大等问题,限制了语音识别字符错误率的进一步降低.针对上述问题,提出一种新型的语音识别系统,以中文音节(拼音)作为中间字符,以深度前馈序列记忆神经网络DFSMN作为声学模型,执行语音转中文音节任务,进而将拼音转汉字理解成翻译任务,引入Transformer作为语言模型;同时提出一种减少Transformer计算复杂度的简易方法,在计算注意力权值时引入Hadamard矩阵进行滤波,对低于阈值的参数进行丢弃,使得模型解码速度更快.在Aishell-1、Thchs30等数据集上的实验表明,相较于DFSMN结合3-gram模型,基于DFSMN和改进Transformer的语音识别系统在最优模型上的字符错误率相对下降了3.2％,达到了11.8％的字符错误率;相较于BLSTM模型语音识别系统,其字符错误率相对下降了7.1％.

关键词：语音识别、深度前馈序列记忆神经网络(DFSMN)、Transformer、中文音节、Hadamard矩阵

所属期刊栏目：58

分类号：TP391;TP18(计算技术、计算机技术)

资助基金：国家自然科学基金;重庆市科委项目

在线出版日期：2022-05-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：187-194