语音识别和语音模型训练的方法及存储介质和电子设备
公开了一种语音识别和语音模型训练的方法及存储介质和电子设备。通过获取语音训练集并根据语音训练集获取文本训练集，根据文本训练集获取预训练的文本模型，根据预训练的文本模型和语音训练集获取预训练的语音模型。由此，使得预训练的语音模型中融合了文本特征，可以降低语音模型的训练难度，提高语音识别的准确性。
发明专利
CN202010162942.5
2020-03-10
CN111833849A
2020-10-27
G10L15/06(2013.01)
北京嘀嘀无限科技发展有限公司
徐海洋;韩堃
100193 北京市海淀区东北旺西路8号院34号楼
北京睿派知识产权代理事务所(普通合伙)
刘锋
北京;11
1.一种语音模型的训练方法，其特征在于，所述方法包括： 获取语音训练集，所述语音训练集包括多个语音信息和对应的意图标识； 对所述语音信息进行语音识别以获取文本训练集，所述文本训练集包括多个文本信息和对应的意图标识； 根据所述文本训练集获取预训练的文本模型；以及 根据所述预训练的文本模型和所述语音训练集获取所述预训练的语音模型。 2.根据权利要求1所述的方法，其特征在于，所述文本模型包括第一特征提取层和第一意图识别层； 其中，根据所述文本训练集获取预训练的文本模型包括： 基于预定的分词算法对所述文本训练集中各文本信息进行分词处理以获取对应的词序列，所述词序列包括多个词； 根据所述词序列获取第一嵌入向量； 将所述第一嵌入向量输入所述第一特征提取层获取所述文本信息的文本向量； 将所述文本向量输入到第一意图识别层获得输出；以及 根据所述第一意图识别层的输出和对应的意图对所述第一特征提取层和所述第一意图识别层进行调整以获取所述预训练的文本模型。 3.根据权利要求1所述的方法，其特征在于，所述语音模型包括第二特征提取层和第二意图识别层； 其中，根据所述预训练的文本模型和所述语音训练集获取所述预训练的语音模型包括： 根据所述预训练的文本模型对所述第二特征提取层进行调整以使得所述语音模型输出的语音向量与所述文本模型输出的文本向量一致；以及 根据所述语音训练集对所述第二意图识别层和所述第二特征提取层进行调整以使得所述语音模型获取所述语音信息的意图。 4.根据权利要求3所述的方法，其特征在于，根据所述预训练的文本模型对所述第二特征提取层进行调整包括： 对所述语音训练集中各语音信息进行分帧处理以获取帧序列； 根据所述帧序列获取第二嵌入向量； 将所述第二嵌入向量输入所述第二特征提取层获取所述语音信息的语音向量； 根据预定的映射关系将所述语音向量转换为映射向量； 通过判别模型比较所述映射向量和所述文本向量以获取比较结果；以及 根据所述比较结果对所述第二特征提取层进行调整。 5.根据权利要求4所述的方法，其特征在于，根据所述比较结果对所述第二特征提取层进行调整包括： 保持所述语音模型不变，对所述判别模型进行调整以使得所述比较结果表征的所述映射向量和所述文本向量的差异度较大；以及 保持所述判别模型不变，对所述第二特征提取层进行调整以使得所述比较结果表征的所述映射向量和所述文本向量的差异度较小。 6.根据权利要求4所述的方法，其特征在于，根据所述语音训练集对所述第二意图识别层和所述第二特征提取层进行调整包括： 将所述语音向量和所述映射向量融合以获取融合向量； 将所述融合向量输入所述第二意图识别层获得输出；以及 根据所述第二意图识别层的输出和对应的意图对所述第二意图识别层和第二特征提取层进行调整。 7.根据权利要求1所述的方法，其特征在于，所述语音模型为BERT模型、XL-NET模型、GPT2模型或T5模型； 所述文本模型为BERT模型、XL-NET模型、GPT2模型或T5模型。 8.一种语音识别方法，其特征在于，所述方法包括： 获取待识别语音信息； 对所述待识别语音信息进行分帧处理以获取帧序列； 根据所述帧序列获取第二嵌入向量； 将所述第二嵌入向量输入第二特征提取层获取所述待处理语音信息的语音向量； 根据预定的映射关系将所述语音向量转换为映射向量； 将所述语音向量和所述映射向量融合以获取融合向量；以及 将所述融合向量输入所述第二意图识别层以获取所述待处理语音信息的意图。 9.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-8中任一项所述的方法。 10.一种计算机可读存储介质，其上存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如权利要求1-8中任一项所述的方法。