合成语音与原始视频匹配方法、系统、装置及存储介质
本发明公开了一种合成语音与原始视频匹配方法、系统、装置及存储介质，其中所述方法包括：获取原始视频的第一长度；获取合成语音的第二长度；根据所述第一长度与所述第二长度的长度差异，对所述原始视频和/或所述合成语音进行变速处理。本申请使得变速处理后的视频与语音的长度一致，提高用户的观感体验。本申请可广泛应用于视频处理领域。
发明专利
CN202011373933.7
2020-11-30
CN112562719A
2021-03-26
G10L21/043(2013.01)
清华珠三角研究院
李嘉雄;王伦基;叶俊杰;李权;成秋喜;胡玉针;朱杰;黄桂芳;韩蓝青
510530 广东省广州市黄埔区香雪八路98号香雪国际公寓F栋
广州嘉权专利商标事务所有限公司
常柯阳
广东;44
1.一种合成语音与原始视频匹配方法，其特征在于，包括： 获取原始视频的第一长度； 获取合成语音的第二长度； 根据所述第一长度与所述第二长度的长度差异，对所述原始视频和/或所述合成语音进行变速处理，得到长度匹配的原始视频和合成语音。 2.根据权利要求1所述的合成语音与原始视频匹配方法，其特征在于，所述第一长度为第一时间长度，所述第二长度为第二时间长度，所述长度差异为所述第一时间长度与所述第一时间长度的比值，所述根据所述长度差异，对所述原始视频和/或所述合成语音进行变速处理，包括： 当所述长度差异在预设的第一阈值区间内，根据第一视频变速参数对所述原始视频作第一减速处理，并根据第一语音变速参数对所述合成语音作第一加速处理； 当所述长度差异在预设的第二阈值区间内，根据第二语音变速参数对所述合成语音作第一变速处理； 当所述长度差异在预设的第三阈值区间内，根据第二视频变速参数对所述原始视频作第二加速处理，并根据第三语音变速参数对所述合成语音作第二减速处理。 3.根据权利要求2所述的合成语音与原始视频匹配方法，其特征在于，所述方法还包括所述原始视频作局部变速处理的步骤，该步骤具体包括： 确定所述原始视频中任意一帧中的若干人体关键点； 根据当前帧的所述人体关键点与第一视频帧的所述人体关键点之间的欧式距离以及所述原始视频的时间序列，确定所述原始视频中人体动作幅度与所述时间序列的关系；其中，第一视频帧是所述原始视频中与当前帧间隔预设帧数的视频帧； 根据所述原始视频中人体动作幅度与所述时间序列的关系，确定若干局部变速区间； 根据所述长度差异，在所述局部变速区间对所述原始视频作局部变速处理。 4.根据权利要求3所述的合成语音与原始视频匹配方法，其特征在于，所述根据所述长度差异，在所述局部变速区间，对所述原始视频作局部变速处理，包括： 确定视频变速上限参数和视频变速下限参数； 在若干所述局部变速区间，根据所述长度差异、所述视频变速上限参数以及所述视频变速下限参数对所述原始视频作局部变速处理。 5.根据权利要求4所述的合成语音与原始视频匹配方法，其特征在于，所述在若干所述局部变速区间，根据所述长度差异、所述视频变速上限参数以及所述视频变速下限参数对所述原始视频作局部变速处理，包括： 当所述长度差异在预设的第一阈值区间内，且所述第一视频变速参数大于所述视频变速上限参数，根据所述视频变速上限参数对所述原始视频作第一减速处理。 6.根据权利要求4所述的合成语音与原始视频匹配方法，其特征在于，所述在若干所述局部变速区间，根据所述长度差异、所述视频变速上限参数以及所述视频变速下限参数对所述原始视频作局部变速处理，还包括： 当所述长度差异在预设的第三阈值区间内，且所述第二视频变速参数小于所述视频变速下限参数，根据所述视频变速下限参数对所述原始视频作第二加速处理。 7.根据权利要求2所述的合成语音与原始视频匹配方法，其特征在于，所述第一视频变速参数、所述第二语音变速参数以及所述第二视频变速参数的确定过程具体为： 根据预设的所述第一语音变速参数以及所述长度差异，确定所述第一视频变速参数； 根据所述长度差异，确定所述第二语音变速参数； 根据预设的所述第三语音变速参数以及所述长度差异，确定所述第二视频变速参数。 8.一种合成语音与原始视频匹配系统，其特征在于，包括： 获取模块，用于获取视频长度和语音长度； 比较模块，用于确定视频时长和语音时长的长度差异； 变速模块，用于根据所述视频时长和语音时长的长度差异，对所述视频以及所述语音作变速处理。 9.一种装置，其特征在于，包括： 至少一个处理器； 至少一个存储器，用于存储至少一个程序； 当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7中任一项所述的合成语音与原始视频匹配方法。 10.一种计算机存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由所述处理器执行时用于实现如权利要求1-7任一项所述的合成语音与原始视频匹配方法。