基于生成对抗网络的图像场景转换

摘要：

由于时间、地点、摄影设备等因素的限制,导致在真实世界中很难获得内容相同而场景不同的图像,一种可行方式是利用生成对抗网络(GAN)在没有成对数据集的情况下对图片中的场景进行转换,但是已有基于GAN的图像场景转换方法主要关注单个类别、单向、结构简单的场景.为了解决具有丰富类别和高度复杂语义结构的图像场景转换问题,提出一种基于GAN的图像场景转换模型,以实现晴天、雨天、雾天等不同场景之间的转换.将GAN、注意力模块和场景分割模块相结合,使模型正确识别并转换感兴趣区域同时保持其他区域不变.为了进一步提高输出的多样性,提出一种新型的正则化损失来抑制潜在噪声.此外,为了避免因缺乏噪声约束而出现的模态崩溃问题,在鉴别器中嵌入噪声分离模块.实验结果表明,相较CycleGAN、UNIT、MUNIT、NICE-GAN等6种对比模型,该模型所生成图像的FID得分和KID得分平均分别提高约7.25％和19％,其能够在不同场景下生成视觉效果更佳的图像.

关键词：图像处理、图像转换、生成对抗网络、场景转换、注意力机制

所属期刊栏目：49

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金62202092

在线出版日期：2023-04-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：217-225