并行生成网络的红外—可见光图像转换

摘要：

目的 针对现有图像转换方法的深度学习模型中生成式网络(generator network)结构单一化问题,改进了条件生成式对抗网络(conditional generative adversarial network,CGAN)的结构,提出了一种融合残差网络(ResNet)和稠密网络(DenseNet)两种不同结构的并行生成器网络模型.方法 构建残差、稠密生成器分支网络模型,输入红外图像,分别经过残差、稠密生成器分支网络各自生成可见光转换图像,并提出一种基于图像分割的线性插值算法,将各生成器分支网络的转换图像进行融合,获取最终的可见光转换图像;为防止小样本条件下的训练过程中出现过拟合,在判别器网络结构中插入dropout层;设计最优阈值分割目标函数,在并行生成器网络训练过程中获取最优融合参数.结果 在公共红外—可见光数据集上测试,相较于现有图像转换深度学习模型Pix2Pix和CycleGAN等,本文方法在性能指标均方误差(mean square error,MSE)和结构相似性(structural similarity index,SSIM)上均取得显著提高.结论 并行生成器网络模型有效融合了各分支网络结构的优点,图像转换结果更加准确真实.

关键词：模态转换;残差网络;稠密网络;线性插值融合;并行生成器网络

所属期刊栏目：26

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金项目61872425,61771265

在线出版日期：2021-10-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：2346-2356