无监督动作迁移再修复的人脸重演方法

摘要：

人脸重演可以将一个驱动人物的上半身动作迁移到目标人物上,合成一段视频.针对当前方法动作迁移不充分或合成的视频质量较低的问题,提出了无监督动作迁移再修复的人脸重演方法.利用一种无监督运动迁移模型,将驱动人物动作较为完整地迁移到目标人物,并得到粗糙的目标人脸视频.然后设计一个带有时空结构的生成神经网络,将粗糙的人脸视频修正为逼真流畅的人脸视频.为合成流畅且细节丰富的视频,在网络中引入了三维卷积以及注意力机制,更好地处理时空信息和指导图片的修正;为避免背景合成错误,将背景信息嵌入到网络作为固定参数;为提高牙齿的真实度,设计了一种嘴部增强损失.该网络以对抗的方式训练,确保了图片的真实感.实验结果表明,该算法可合成高质量的目标人物视频,性能指标优于目前先进的重演方法.

关键词：人脸重演、无监督学习、生成式对抗网络、注意力机制、三维卷积

所属期刊栏目：59

分类号：TP391.4(计算技术、计算机技术)

资助基金：广东省自然科学基金;广州市科技计划项目

在线出版日期：2023-10-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：192-200