联合多任务学习的人脸超分辨率重建

摘要：

目的 人脸超分辨率重建是特定应用领域的超分辨率问题,为了充分利用面部先验知识,提出一种基于多任务联合学习的深度人脸超分辨率重建算法.方法 首先使用残差学习和对称式跨层连接网络提取低分辨率人脸的多层次特征,根据不同任务的学习难易程度设置损失权重和损失阈值,对网络进行多属性联合学习训练.然后使用感知损失函数衡量HR(high-resolution)图像与SR (super-resolution)图像在语义层面的差距,并论证感知损失在提高人脸语义信息重建效果方面的有效性.最后对人脸属性数据集进行增强,在此基础上进行联合多任务学习,以获得视觉感知效果更加真实的超分辨率结果.结果 使用峰值信噪比(PSNR)和结构相似度(SSIM)两个客观评价标准对实验结果进行评价,并与其他主流方法进行对比.实验结果显示,在人脸属性数据集(CelebA)上,在放大8倍时,与通用超分辨率MemNet(persistent memory network)算法和人脸超分辨率FSRNet(end-to-end learning face super-resolution network)算法相比,本文算法的PSNR分别提升约2.15 dB和1.2 dB.结论 实验数据与效果图表明本文算法可以更好地利用人脸先验知识,产生在视觉感知上更加真实和清晰的人脸边缘和纹理细节.

关键词：多任务联合学习、图像修复、深度学习、超分辨率、感知损失

所属期刊栏目：25

分类号：TP391.4(计算技术、计算机技术)

资助基金：国家自然科学基金项目;国家重点机器人工程项目;中央高校基本科研业务费专项资金项目

在线出版日期：2020-06-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：229-240