基于分离对比学习的个性化语音合成

摘要：

个性化语音合成是指根据目标说话人的参考语音,合成具有目标说话人风格的语音.参考语音同时依赖于目标说话人风格和语音中的文本内容.现有方法将参考语音作为一个整体进行对比分析,但是在说话人风格和语言内容两方面没有进行分离对比分析,导致了合成语音受到语言内容的干扰,而偏离目标说话人风格的问题.设计了一种风格与内容分离的对比损失,用于个性化语音合成模型.该模型包括风格-内容分离对比模块、说话人模块、语音解码器模块.风格-内容分离对比模块将查询参考语音中的风格和内容视为正例,并使用风格-内容分离的负例.该分离负例能够促使查询的风格和其他参考语音中的内容分离,同时能够促使查询的内容与其他参考语音中的风格分离.风格内容分离对比模块用于学习兼顾风格-内容的语音特征.说话人模块学习说话人身份特征,并用于引导说话人风格学习.语音解码器模块融合风格-内容的语音特征和说话人身份特征,用于提高对持续时间、音高、能量这些说话人风格的描述能力.在VCTK和LibriTTS两个数据集上的实验表明,该方法提高了合成语音的说话人相似度,合成语音的质量优于现有方法.

关键词：语音合成、分离对比学习、说话人风格

所属期刊栏目：59

分类号：TP391(计算技术、计算机技术)

资助基金：安徽高校自然科学研究项目KJ2021A1573

在线出版日期：2023-11-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：158-165