普通话和粤语混合语音识别模型训练方法及系统

摘要：

本发明公开一种普通话和粤语混合语音识别模型训练方法，包括：采用N种语言的混合语音训练样本对多任务模型进行训练，多任务模型包括多个共享网络层和与多个共享网络层中的最后一层连接的对应于N种语言的N个任务神经网络层；将多个共享网络层的网络参数迁移至待训练语音识别模型，以完成待训练语音识别模型的训练。本发明实施例首先采用多种语言的混合语音训练样本训练多任务模型，然后通过数据迁移的方式复用多任务模型的网络参数，基于普通话和粤语混合建模，训练普通话和粤语混合语音识别模型。能够解决普通话和粤语混合语音识别的问题，不需要对原来的识别服务进行大的修改，可以利用当前已有的成果，降低模型训练成本和服务开发成本。

专利类型：发明专利

申请/专利号：CN202010737658.6

申请日期：2020-07-28

公开/公告号：CN111816160A

公开/公告日：2020-10-23

主分类号：G10L15/00(2013.01)

申请/专利权人:苏州思必驰信息科技有限公司

发明/设计人:朱森;钱彦旻;陆一帆;陈梦姣

主申请人地址:215123 江苏省苏州市苏州工业园区新平街388号腾飞创新园14栋

专利代理机构:北京商专永信知识产权代理事务所(普通合伙)

代理人:黄谦%车江华

国别省市代码:江苏;32

权利要求：

1.一种普通话和粤语混合语音识别模型训练方法，包括： 采用N种语言的混合语音训练样本对多任务模型进行训练，所述多任务模型包括多个共享网络层和与所述多个共享网络层中的最后一层连接的对应于N种语言的N个任务神经网络层； 将所述多个共享网络层的网络参数迁移至待训练语音识别模型，以完成所述待训练语音识别模型的训练。 2.根据权利要求1所述的方法，其中，所述采用N种语言的混合语音训练样本对多任务模型进行训练包括： 基于对应于所述N个任务神经网络层的N个损失函数训练所述N个任务神经网络层的网络参数； 至少基于对应于所述N个任务神经网络层的N个损失函数共同训练所述多个共享网络层的网络参数。 3.根据权利要求2所述的方法，其中，所述多任务模型还包括与所述多个共享网络层中的最后一层连接的语言分类网络层； 所述至少基于对应于所述N个任务神经网络层的N个损失函数共同训练所述多个共享网络层的网络参数包括： 基于对应于所述N个任务神经网络层的N个损失函数和对应于所述语言分类网络层的损失函数共同训练所述多个共享网络层的网络参数。 4.根据权利要求3所述的方法，其中，基于对应于所述N个任务神经网络层的N个损失函数和对应于所述语言分类网络层的损失函数共同训练所述多个共享网络层的网络参数包括： 基于对应于所述N个任务神经网络层的N个损失函数和对应于所述语言分类网络层的损失函数的加权和训练所述多个共享网络层的网络参数。 5.一种普通话和粤语混合语音识别方法，包括： 将普通话和方言混合语音输入至权利要求1-4所述的方法训练得到的语音识别模型，进行混合语音识别。 6.一种普通话和粤语混合语音识别模型训练系统，包括： 多任务模型训练模块，用于采用N种语言的混合语音训练样本对多任务模型进行训练，所述多任务模型包括多个共享网络层和与所述多个共享网络层中的最后一层连接的对应于N种语言的N个任务神经网络层； 语音识别模型训练模块，用于将所述多个共享网络层的网络参数迁移至待训练语音识别模型，以完成所述待训练语音识别模型的训练。 7.根据权利要求6所述的系统，其中，所述采用N种语言的混合语音训练样本对多任务模型进行训练包括： 基于对应于所述N个任务神经网络层的N个损失函数训练所述N个任务神经网络层的网络参数； 至少基于对应于所述N个任务神经网络层的N个损失函数共同训练所述多个共享网络层的网络参数。 8.根据权利要求7所述的系统，其中，所述多任务模型还包括与所述多个共享网络层中的最后一层连接的语言分类网络层； 所述至少基于对应于所述N个任务神经网络层的N个损失函数共同训练所述多个共享网络层的网络参数包括： 基于对应于所述N个任务神经网络层的N个损失函数和对应于所述语言分类网络层的损失函数共同训练所述多个共享网络层的网络参数。 9.根据权利要求8所述的系统，其中，基于对应于所述N个任务神经网络层的N个损失函数和对应于所述语言分类网络层的损失函数共同训练所述多个共享网络层的网络参数包括： 基于对应于所述N个任务神经网络层的N个损失函数和对应于所述语言分类网络层的损失函数的加权和训练所述多个共享网络层的网络参数。 10.一种普通话和粤语混合语音识别系统，包括： 语音识别模型，采用权利要求1-4所述的方法训练得到； 语音输入模块，用于将普通话和粤语混合语音输入至所述语音识别模型，进行混合语音识别。 11.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任意一项所述方法的步骤。 12.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-5中任意一项所述方法的步骤。