基于深度学习的文本生成语音的方法、系统、装置及介质
本发明公开了一种基于深度学习的文本生成语音的方法、系统、装置及介质，其中所述方法包括：获取包含目标说话人语音的第一数据集，根据第一数据集进行训练，获得能够生成包含目标说话人特征的声音频谱的目标模型；获取待转换文本，根据待转换文本确定待转换音频，将待转换音频输入目标模型则获得目标声音声音频谱，将目标声音频谱输入声码器则获得目标音频。本申请实施例通过训练好的目标模型，把文本转换为语音，并保留原说话人如音色，说话时的韵律等特征，使语音听起来与原说话人的语音一致。本申请可广泛用于语音处理技术领域。
发明专利
CN202011373940.7
2020-11-30
CN112530400A
2021-03-19
G10L13/02(2013.01)
清华珠三角研究院
朱杰;叶俊杰;李嘉雄;李权;王伦基;胡玉针;成秋喜;刘华清;韩蓝青
510530 广东省广州市黄埔区香雪八路98号香雪国际公寓F栋
广州嘉权专利商标事务所有限公司
常柯阳
广东;44
1.基于深度学习的文本生成语音的方法，其特征在于，包括： 获取第一数据集，所述第一数据集包含目标说话人语音； 根据所述第一数据集进行训练，获得目标模型；所述目标模型用于生成包含目标说话人特征的声音频谱； 获取待转换文本； 根据待转换文本确定待转换音频； 根据待转换音频和所述目标模型，确定目标声音频谱； 根据所述目标声音频谱，确定目标音频。 2.根据权利要求1所述的基于深度学习的文本生成语音的方法，其特征在于，所述训练所述第一数据集，获得目标模型，包括： 根据所述第一数据集，确定目标语音特征； 根据所述目标语音特征和获取到的第一训练音频，确定第一训练声音频谱； 根据所述第一训练声音频谱和声码器，确定第一目标音频； 根据所述目标说话人语音和所述第一目标音频，采用第一损失函数确定第一损失值，并根据所述第一损失值确定所述目标模型。 3.根据权利要求1所述的基于深度学习的文本生成语音的方法，其特征在于，所述训练所述第一数据集，获得目标模型，包括： 构建包含双向循环神经网络的音素分类器； 构建语音合成器； 根据所述第一数据集、所述音素分类器和所述语音合成器，确定目标模型。 4.根据权利要求3所述的基于深度学习的文本生成语音的方法，其特征在于，所述音素分类器通过以下步骤训练得到： 获取第二数据集； 根据所述第二数据集，确定频谱图； 根据所述频谱图，确定音素信息。 5.根据权利要求3所述的基于深度学习的文本生成语音的方法，其特征在于，所述根据所述第一数据集、所述音素分类器和所述语音合成器，确定目标模型，包括： 根据所述第一数据集和所述音素分类器，确定训练音素信息； 根据所述语音合成器和所述训练音素信息，确定所述第二训练声音频谱； 根据所述第二训练声音频谱和声码器，确定第二目标音频； 获取目标说话人语音和第二目标音频采用第二损失函数确定第二损失值； 根据所述第二损失值调整所述语音合成器和所述音素分类器的参数，确定所述目标模型。 6.根据权利要求3所述的基于深度学习的文本生成语音的方法，其特征在于： 所述双向循环神经网络包含多层的1维卷积层、1层池化层和多层全连接层。 7.根据权利要求1所述的基于深度学习的文本生成语音的方法，其特征在于，所述方法还包括： 对所述第一数据集进行预处理，所述预处理包括音频采样率调整、音频长短调整、音频降噪。 8.一种基于深度学习的文本生成语音系统，其特征在于，包括： 获取模块，用于获取第一数据集、待转换文本及待转换音频； 模型生成模块，用于训练所述第一数据集，确定目标模型； 语音生成模块，用于根据待转换文本和所述目标模型，确定目标音频。 9.一种装置，其特征在于，包括： 至少一个处理器； 至少一个存储器，用于存储至少一个程序； 当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7中任一项所述的基于深度学习的文本生成语音方法。 10.一种介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由所述处理器执行时用于实现如权利要求1-7中任一项所述的基于深度学习的文本生成语音方法。