结合Transformer的轻量化中文语音识别

摘要：

近年来,深度神经网络模型在语音识别领域成为热门研究对象.然而,深层神经网络的构建依赖庞大的参数和计算开销,过大的模型体积也增加了其在边缘设备上部署的难度.针对上述问题,提出了基于Trans-former 的轻量化语音识别模型.首先使用深度可分离卷积获得音频特征信息;其次构建了双半步剩余权重前馈神经网络,即Macaron-Net结构,并引入低秩矩阵分解,实现了模型压缩;最后使用稀疏注意力机制,提升了模型的训练速度和解码速度.为了验证模型,在Aishell-1和aidatatang_200zh数据集上进行了测试.实验结果显示,与Open-Transformer相比,所提模型在字错误率上相对下降了 19.8％,在实时率上相对下降了 32.1％.

关键词：语音识别、Transformer、低秩矩阵分解、轻量卷积、模型压缩、稀疏注意力

所属期刊栏目：40

分类号：TN912.34

资助基金：国家自然科学基金;国家自然科学基金

在线出版日期：2023-03-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：424-429