唇动增强的单声道和多声道声源分离

摘要：

提供了用于实现源分离技术的方法和系统，并且更具体地，对通过从捕获的图像数据输入唇动信息而增强的混合源单声道和多声道音频信号执行源分离，包括从关注时段内捕获的多个面部图像的中选择目标说话者面部图像；基于目标说话者面部图像的面部特征计算运动矢量；至少基于运动矢量，将与成分源相对应的音频与在关注时段内捕获的混合源音频信号相分离。可以从单声道或多声道音频捕获设备捕获混合的源音频信号。可以通过包括多个学习子模型的融合学习模型来执行音频与音频信号的分离。可以通过盲源分离(“BSS”)学习模型来执行音频与音频信号的分离。

专利类型：发明专利

申请/专利号：CN202110025122.6

申请日期：2021-01-08

公开/公告号：CN113096683A

公开/公告日：2021-07-09

主分类号：G10L21/0272(2013.01)

申请/专利权人:阿里巴巴集团控股有限公司

发明/设计人:李韵

主申请人地址:英属开曼群岛大开曼资本大厦一座四层847号邮箱

专利代理机构:北京清源汇知识产权代理事务所(特殊普通合伙)

代理人:冯德魁%张艳梅

国别省市代码:开曼群岛;KY

权利要求：

1.一种方法，包括： 基于在关注时段内捕获的目标说话者面部图像的面部特征来计算运动矢量；和 至少所述基于运动矢量，将与成分源相对应的音频与在关注时段内捕获的混合源单声道音频信号相分离； 其中通过从包括多个学习子模型的融合学习模型执行音频与音频信号的分离。 2.根据权利要求1所述的方法，其中计算所述运动矢量包括基于所述面部特征至少计算LLD矢量和光流矢量。 3.根据权利要求1所述的方法，其中，在关注时段的每个时刻，基于在相应时刻目标说话者面部图像的宽度和高度，进一步归一化所述运动矢量。 4.根据权利要求1所述的方法，其中所述融合学习模型包括至少一个具有接收音频特征作为输入的输入层的学习子模型，以及至少一个具有接收图像特征作为输入的输入层的学习子模型。 5.根据权利要求4所述的方法，其进一步包括将由所述融合学习模型的至少一个学习子模型输出的音频特征与由所述融合学习模型的至少一个学习子模型输出的图像特征融合。 6.根据权利要求5所述的方法，其中，所述融合学习模型还包括具有输入层的至少一个学习子模型，所述输入层接收包括融合音频特征和图像特征的矢量作为输入。 7.根据权利要求6所述的方法，其中所述融合学习模型通过基于所述融合的音频特征和视频特征执行源分离来输出目标掩模和噪声掩模。 8.一种系统，包括： 一个或多个处理器；和 通信地连接到所述一个或多个处理器的存储器，所述存储器存储可由所述一个或多个处理器执行的计算机可执行模块，所述计算机可执行模块在由所述一个或多个处理器执行时执行相关的操作，所述计算机可执行模块包括： 面部特征提取模块，所述面部特征提取模块被配置为基于在关注时段内捕获的目标说话者面部图像的面部特征来计算运动矢量；和 源分离模块，所述源分离模块被配置为至少基于所述运动矢量，将与成分源相对应的音频与在所述关注时段内捕获的混合源单声道音频信号相分离； 其中，所述源分离模块被配置为通过包括多个学习子模型的融合学习模型将音频与音频信号分离。 9.根据权利要求8所述的系统，其中所述面部特征提取模块被配置为基于所述面部特征通过至少计算LLD矢量和光流矢量来计算所述运动矢量。 10.根据权利要求8所述的系统，其中，所述面部特征提取模块还被配置为：在关注时段的每个时刻，基于相应时刻所述目标说话者面部图像的宽度和高度，对所述运动矢量进行归一化。 11.根据权利要求8所述的系统，其中所述融合学习模型包括具有输入层的至少一个学习子模型，所述输入层接收音频特征作为输入，以及具有输入层的至少一个学习子模型，所述输入层接收图像特征作为输入。 12.根据权利要求11所述的系统，其中，所述源分离模块还被配置为将由所述融合学习模型的至少一个学习子模型输出的音频特征与由所述融合学习模型的至少一个学习子模型输出的图像特征融合。 13.根据权利要求12所述的系统，其中，所述融合学习模型还包括具有输入层的至少一个学习子模型，所述输入层接收包括融合的音频特征和图像特征的矢量作为输入。 14.根据权利要求13所述的系统，其中，所述源分离模块还被配置为通过基于所述融合的音频特征和视频特征执行源分离的融合学习模型，输出目标掩模和噪声掩模。 15.一种计算机可读存储介质，其存储可由一个或多个处理器执行的计算机可读指令，所述计算机可读指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行以下操作： 基于在关注时段捕获的目标说话者面部图像的面部特征来计算运动矢量；和 至少基于所述运动矢量，将与成分源相对应的音频与在关注时段内捕获的混合源单声道音频信号相分离； 其中通过从包括多个学习子模型的融合学习模型执行音频与音频信号的分离。 16.如权利要求15所述的计算机可读存储介质，其特征在于，计算所述运动矢量包括基于所述面部特征至少计算LLD矢量和光流矢量。 17.根据权利要求15所述的计算机可读存储介质，其中，所述操作还包括：在关注时段的每一时刻，基于在相应时刻目标说话者面部图像的宽度和高度，对所述运动矢量进行归一化。 18.根据权利要求15所述的计算机可读存储介质，其中，所述融合学习模型包括具有输入层的至少一个学习子模型，所述输入层接收音频特征作为输入，以及具有输入层的至少一个学习子模型，所述输入层接收图像特征作为输入。 19.根据权利要求18所述的计算机可读存储介质，其中，所述操作还包括：将由所述融合学习模型的至少一个学习子模型输出的音频特征与由所述融合学习模型的至少一个学习子模型输出的图像特征融合。 20.根据权利要求19所述的计算机可读存储介质，其中，所述融合学习模型还包括具有输入层的至少一个学习子模型，所述输入层接收包括融合的音频特征和图像特征的矢量作为输入。