基于改进CycleGan模型和区域分割的表情动画合成
针对现有人脸表情合成大多依赖于数据源驱动,且存在生成效率低、真实感差的问题,提出一种基于改进CycleGan模型和区域分割的表情动画合成新方法.新方法可实时地合成新表情动画,且具有较好的稳定性和鲁棒性.所提方法在传统CycleGan模型的循环一致损失函数中构造新的协方差约束条件,可有效避免新表情图像生成时出现的色彩异常和模糊不清等现象;提出分区域训练的思想,用Dlib人脸识别数据库对人脸图像进行关键点检测,通过检测到的关键特征点将源域和目标域的人脸分割成左眼、右眼、嘴部和剩余人脸部分共4个区域块,并利用改进的CycleGan模型对每块区域单独进行训练;最后将训练结果加权融合成最终的新表情图像.分区域训练进一步增强了表情合成的真实感.实验数据来自英国萨里大学的语音视觉情感(SAVEE)数据库,在Tensorflow框架下,用python 3.4软件进行实验结果的展示.实验表明,新方法无需数据源驱动,可直接在源人脸动画序列上实时地生成真实、自然的新表情序列,且对于语音视频可保证新面部表情序列与源音频同步.
表情合成、区域分割、CycleGan、协方差约束、深度学习
47
TP391.41(计算技术、计算机技术)
山东省省属优青项目;国家自然科学基金;山东省重点研发计划;山东省教育厅科技计划项目;山东省高等学校优势学科人才团队培育计划
2020-09-25（万方平台首次上网日期，不代表论文的发表时间）
共8页
142-149
