融合自注意力机制和相对鉴别的无监督图像翻译

摘要：

无监督图像翻译使用非配对训练数据能够完成图像中对象变换、季节转移、卫星与路网图相互转换等多种图像翻译任务.针对基于生成对抗网络(Generative adversarial network,GAN)的无监督图像翻译中训练过程不稳定、无关域改变较大而导致翻译图像细节模糊、真实性低的问题,本文基于对偶学习提出一种融合自注意力机制和相对鉴别的无监督图像翻译方法.首先,生成器引入自注意力机制加强图像生成过程中像素间远近距离的关联关系,在低、高卷积层间增加跳跃连接,降低无关图像域特征信息损失.其次,判别器使用谱规范化防止因鉴别能力突变造成的梯度消失,增强训练过程中整体模型的稳定性.最后,在损失函数中基于循环重构增加自我重构一致性约束条件,专注目标域的转变,设计相对鉴别对抗损失指导生成器和判别器之间的零和博弈,完成无监督的图像翻译.在Horse & Zebra、Summer & Winter以及AerialPhoto & Map数据集上的实验结果表明:相较于现有GAN的图像翻译方法,本文能够建立更真实的图像域映射关系,提高了生成图像的翻译质量.

关键词：图像翻译;对偶学习;生成对抗网络;自注意力机制;相对鉴别;无监督学习

所属期刊栏目：47

在线出版日期：2021-10-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：2226-2237