结合年龄监督和人脸先验的语音-人脸图像重建

摘要：

针对语音-人脸图像重建方法缺乏来自不同维度的监督约束及未利用人脸先验信息,导致生成图像和真实图像相似度不高的问题,提出结合年龄监督和人脸先验信息的语音-人脸图像重建方法.通过预训练的年龄评估模型为当前数据集扩充年龄数据,弥补来自年龄监督信息的缺乏.通过语音-人脸图像跨模态身份匹配方法,为给定语音检索接近真实人脸的面部图像,将得到的图像作为人脸先验信息使用.该方法通过定义结合交叉熵损失和对抗损失的联合损失函数,从年龄感、低频内容和局部纹理等方面均衡提升重建图像质量.基于数据集Voxceleb 1,通过人脸检索实验的方式进行测试,与当前主流方法进行比较和分析.结果表明,该方法能有效提升生成图像与真实图像的相似度,所生成的图像具有更好的主客观评价结果.

关键词：深度学习、图像重建、卷积神经网络、生成对抗网络、人脸先验信息

所属期刊栏目：56

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;陕西省重点研发计划一般工业资助项目

在线出版日期：2022-06-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：1006-1016