一种语音合成模型训练方法和相关装置
本申请实施例公开一种语音合成模型训练方法和相关装置，在训练语音合成模型时，将已有的音视频作品作为训练样本，即收集音视频作品，从音视频作品中提取与第一应答角色对应的音视频片段。根据音视频片段识别第一应答角色对应的音频和音频对应的文本，进而根据音频和音频对应的文本训练得到第一应答角色对应的语音合成模型。后续可以通过第一应答角色的声音与用户进行语音交互，提高语音交互的趣味性。由于每个第一应答角色对应的语音合成模型以音视频作品为音频来源进行训练得到的，无需邀请配音人员或明星提前录制音频，降低了语音交互中所使用的语音合成模型的生成成本，提高了该模型生成的效率。
发明专利
CN202010960441.1
2020-09-14
CN112820265A
2021-05-18
G10L13/02(2013.01)
腾讯科技(深圳)有限公司
廖锡光
518057 广东省深圳市南山区高新区科技中一路腾讯大厦35层
深圳市深佳知识产权代理事务所(普通合伙)
王兆林
广东;44
1.一种语音合成模型训练方法，其特征在于，所述方法包括： 收集音视频作品； 从所述音视频作品中提取与第一应答角色对应的音视频片段； 根据所述音视频片段识别所述第一应答角色对应的音频和所述音频对应的文本； 根据所述音频和所述音频对应的文本训练得到所述第一应答角色对应的语音合成模型。 2.根据权利要求1所述的方法，其特征在于，所述从所述音视频作品中提取与第一应答角色对应的音视频片段之前，所述方法还包括： 获取针对所述音视频作品的评论信息； 根据所述评论信息，从所述音视频作品中确定好评度大于预设阈值的角色为所述第一应答角色。 3.根据权利要求1所述的方法，其特征在于，所述方法还包括： 获取用户输入的语音信息； 根据所述语音信息，确定与所述语音信息匹配的目标应答角色； 根据所述第一应答角色与所述语音合成模型之间的对应关系，确定所述目标应答角色对应的语音合成模型； 调用所述目标应答角色对应的语音合成模型，生成所述语音信息对应的应答语音。 4.根据权利要求3所述的方法，其特征在于，若训练得到的语音合成模型中不包括所述目标应答角色对应的语音合成模型，所述方法还包括： 将所述目标应答角色作为所述第一应答角色，重新执行从所述音视频作品中提取与第一应答角色对应的音视频片段的步骤，以更新训练得到的语音合成模型。 5.根据权利要求3所述的方法，其特征在于，所述获取用户输入的语音信息之前，所述方法还包括： 接收所述用户的自定义请求，所述自定义请求包括角色标识； 根据所述角色标识设置智能语音设备的应答角色。 6.根据权利要求5所述的方法，其特征在于，若所述智能语音设备的应答角色包括多个，所述自定义请求中包括所述用户的声纹信息，所述方法还包括： 根据所述角色标识和所述声纹信息建立所述声纹信息与应答角色的关联关系； 所述根据所述语音信息，确定与所述语音信息匹配的目标应答角色，包括： 根据所述语音信息进行声纹识别，得到声纹识别结果； 根据所述声纹识别结果和所述关联关系确定所述目标应答角色。 7.根据权利要求5所述的方法，其特征在于，所述自定义请求中还包括所述应答角色的属性信息，所述根据所述角色标识设置智能语音设备的应答角色，包括： 根据所述角色标识和所述属性信息，设置所述智能语音设备的应答角色和对应的角色属性。 8.根据权利要求7所述的方法，其特征在于，若所述智能语音设备的应答角色包括多个，所述属性信息包括角色昵称，所述方法还包括： 根据所述角色标识和所述角色昵称建立所述角色昵称与应答角色的关联关系； 所述根据所述语音信息，确定与所述语音信息匹配的目标应答角色，包括： 识别所述语音信息中所包括的角色昵称； 根据所述关联关系和所述语音信息中包括的角色昵称，确定所述目标应答角色。 9.一种语音合成模型训练装置，其特征在于，所述装置包括收集单元、提取单元、识别单元和训练单元： 所述收集单元，用于收集音视频作品； 所述提取单元，用于从所述音视频作品中提取与第一应答角色对应的音视频片段； 所述识别单元，用于根据所述音视频片段识别所述第一应答角色对应的音频和所述音频对应的文本； 所述训练单元，用于根据所述音频和所述音频对应的文本训练得到所述第一应答角色对应的语音合成模型。 10.一种用于语音合成模型训练的设备，其特征在于，所述设备包括处理器以及存储器： 所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器； 所述处理器用于根据所述程序代码中的指令执行权利要求1-8任一项所述的方法。