红外与可见光图像渐进融合深度网络
目的 红外与可见光图像融合的目标是获得具有完整场景表达能力的高质量融合图像.由于深度特征具有良好的泛化性、鲁棒性和发展潜力,很多基于深度学习的融合方法被提出,在深度特征空间进行图像融合,并取得了良好的效果.此外,受传统基于多尺度分解的融合方法的启发,不同尺度的特征有利于保留源图像的更多信息.基于此,提出了一种新颖的渐进式红外与可见光图像融合框架(progressive fusion,ProFuse).方法 该框架以U-Net为骨干提取多尺度特征,然后逐渐融合多尺度特征,既对包含全局信息的高层特征和包含更多细节的低层特征进行融合,也在原始尺寸特征(保持更多细节)和其他更小尺寸特征(保持语义信息)上进行融合,最终逐层重建融合图像.结果 实验在TNO(Toegepast Natuurwetenschappelijk Onderzoek)和INO(Institut National D'optique)数据集上与其他6种方法进行比较,在选择的6项客观指标上,本文方法在互信息(mutual Information,MI)上相比FusionGAN(generative adversarial network for infrared and visible image fusion)方法提升了115.64％,在标准差(stand-ard deviation,STD)上相比于GANMcC(generative adversarial network with multiclassification constraints for infrared and visible image fusion)方法提升了19.93％,在边缘保存度Qabf上相比DWT(discrete wavelet transform)方法提升了1.91％,在信息熵(entopy,EN)上相比GANMcC方法提升了1.30％.主观结果方面,本文方法得到的融合结果具有更高的对比度、更多的细节和更清晰的目标.结论 大量实验表明了本文方法的有效性和泛化性.与其他先进的方法相比,本文方法在主观和客观评估上都显示出更好的结果.
图像融合、深度学习、无监督学习、红外图像、可见光图像
28
TP391.7(计算技术、计算机技术)
国家自然科学基金;国家自然科学基金
2023-02-09（万方平台首次上网日期，不代表论文的发表时间）
共10页
156-165
