一种改进精简的语音识别模型

摘要：

为解决深度学习模型在语音识别芯片上内存占用过大的问题,训练时间长,训练深度不够等问题,本文在Transformer语音识别模型的基础上,提出一种减少Transformer计算复杂度的模型,新的模型参数仅有原模型的1/10,模型训练速度大大提升.此外本文在对模型进行参数调整的过程中还对Transformer模型结构中add&norm这一结构结合残差神经网络进行修改,针对模型在训练过程中因为模型深度太深(容易产生梯度消失和梯度爆炸)导致的模型收敛速度过慢或者模型不收敛等问题,在保证词错率下降的同时,加快模型的收敛速度和训练速度,修改结构之后的模型在词错率上相比原有模型词错率更低,并且收敛速度也比未修改结构的模型收敛速度更快.

关键词：语音识别、Transformer、残差神经网络、模型结构修改

分类号：TN912.34

在线出版日期：2023-04-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：67-69