基于MTL-DNN系统融合的混合语言模型语音识别方法

摘要：

基于混合语言模型的语音识别系统虽然具有可以识别集外词的优点,但是集外词识别准确率远低于集内词.为了进一步提升混合语音识别系统的识别性能,本文提出了一种基于互补声学模型的多系统融合方法.首先,通过采用不同的声学建模单元,构建了两套基于隐马尔科夫模型和深层神经网络(Hidden Markov model and deep neural network,HMM-DNN)的混合语音识别系统;然后,针对这两种识别任务之间的关联性,采用多任务学习(Multi-task learning DNN,MTL-DNN)思想,实现DNN网络输入层和隐含层的共享,并通过联合训练提高建模精度.最后,采用ROVER(Recognizer output voting error reduction)方法对两套系统的输出结果进行融合.实验结果表明,相比于单任务学习DNN(Single-task learning DNN,STL-DNN)建模方式,MTL-DNN可以获得更好的识别性能;将两个系统的输出进行融合,能够进一步降低词错误率.

关键词：集外词、混合模型、多任务学习结层神经网络、系统融合

所属期刊栏目：32

分类号：TN912.3

资助基金：国家自然科学基金61175017,61403415,61302107

在线出版日期：2018-03-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：1012-1021