基于语音与人脸参数化表示的跨模态稠密深度网络学习方法

摘要：

为了提高跨模态人脸表示与合成的性能,针对语音与人脸图像2种模态数据,提出一种基于人脸参数化表示与稠密深度网络相结合的面部生成方法.针对输入语音模态,通过对信号进行频谱变换,将一维时域信号转换到二维频率域,可提取频域上稳健的特征描述;针对输出图像模态,利用主动外观模型对不同面部区域独立建模以降低区域间的相关性,并提取紧凑的人脸参数化特征;为了获得有效的跨模态学习性能,提出采用稠密连接的深度卷积神经网络学习语音、图像2种模态的回归预测,并通过预测的人脸参数进行面部重构,所采用的深度网络模型可以加强特征传播与特征复用,有利于增强面部细节的合成.在2组音视频数据集上验证了提出方法的有效性.

关键词：跨模态学习、深度学习、卷积神经网络、参数化表示、语音、图像

所属期刊栏目：32

分类号：TP391(计算技术、计算机技术)

在线出版日期：2020-10-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：867-873