基于光传输模型学习的红外和可见光图像融合网络设计

摘要：

红外和可见光图像的融合可以获得更为全面、丰富的信息.由于没有真实融合图像作参考,现有的融合图像数据集缺少融合图像作为监督条件,基于监督学习的训练方法无法应用于图像融合,现有的融合网络都是尽可能地在两个模态间找到平衡,因此提出一种基于环境光传输模型的多模态图像合成方法.基于NYU-Depth有标签数据集和其深度标注信息合成一组带有参考融合图像的红外和可见光多模态数据集,在条件GAN中设计边缘和细节损失函数,用合成的多模态图像数据集以端到端的方式训练该网络,最终获得一个融合网络.该网络可以使融合图像较好地保留可见光图像的细节和红外图像的目标特征,锐化红外图像热辐射目标的边界.在TNO公开数据集上与主流的IFCNN,DenseFuse,FusionGAN等方法对比,通过主观和客观的图像质量评价检验了该方法的有效性.

关键词：图像融合、光传输模型、合成数据集、GAN

所属期刊栏目：49

分类号：TP18(自动化基础理论)

资助基金：国家自然科学基金;江苏省六大人才高峰项目

在线出版日期：2022-04-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：215-220