循环生成对抗网络的线稿图像自动提取
目的 动漫制作中线稿绘制与上色耗时费力,为此很多研究致力于动漫制作过程自动化.目前基于数据驱动的自动化研究工作快速发展,但并没有一个公开的线稿数据集可供使用.针对真实线稿图像数据获取困难,以及现有线稿提取方法效果失真等问题,提出基于循环生成对抗网络的线稿图像自动提取模型.方法 模型基于循环生成对抗网络结构,以解决非对称数据训练问题.然后将不同比例的输入图像及其边界图输入到掩码指导卷积单元,以自适应选择网络中间特征.同时为了进一步提升网络提取线稿的效果,提出边界一致性约束损失函数,确保生成结果与输入图像在梯度变化上的一致性.结果 在公开的动漫彩色图像数据集Danbooru2018上,应用本文模型提取的线稿图像相比于现有线稿提取方法,噪声少、线条清晰且接近真实漫画家绘制的线稿图像.实验中邀请30名年龄在20～25岁的用户,对本文以及其他4种方法提取的线稿图像进行打分.最终在30组测试样例中,本文方法提取的线稿图像被认为最佳的样例占总样例84％.结论 通过在循环生成对抗网络中引入掩码指导单元,更加合理地提取彩色图像的线稿图像,并通过对已有方法提取效果进行用户打分证明,在动漫线稿图像提取中本文方法优于对比方法.此外,该模型不需要大量真实线稿图像训练数据,实验中仅采集1 000幅左右真实线稿图像.模型不仅为后续动漫绘制与上色研究提供数据支持,同时也为图像边缘提取方法提供了新的解决方案.
动漫线稿图像生成、非对称数据训练、掩码指导卷积单元(MGCU)、循环生成对抗网络(CycleGAN)、卷积神经网络(CNN)
26
TP37(计算技术、计算机技术)
国家自然科学基金61972379
2021-06-21（万方平台首次上网日期，不代表论文的发表时间）
共11页
1117-1127
