多级特征引导网络的红外与可见光图像融合
目的 以卷积神经网络为基础的深度学习技术在图像融合方面表现出优越的性能.在各类图像融合领域,红外与可见光的图像融合应用十分广泛,这两种图像各自的特性十分鲜明,二者信息交互融合得到的融合图像具有显著的价值和意义.为了提高红外与可见光图像的融合质量,本文提出了一种多级特征引导网络的融合框架.方法 本文框架中编码器用于提取源图像的特征,并将多级特征引导至解码器中对融合结果进行重建.为了有效地训练网络,设计了一种混合损失函数.其中,加权保真项约束融合结果与源图像的像素相似度,而结构张量损失鼓励融合图像从源图像中提取更多的结构特征,为了有效进行多尺度信息交互,不同于普通的编解码结构,本文方法在编码器每一层的每一部分均进行特征引导,在编码部分采用池化对尺寸进行缩小,解码采用上采样将尺寸放大,实现多尺度融合与重建,有效弥补了训练过程中卷积层数的堆叠导致的信息的丢失,在编码部分适时地对特征进行引导,及时地与解码层进行融合,在网络结构构建完成后,提出一种损失融合算法,从红外图像和可见光图像各自特点出发,分别设计基于视觉显著性权值估计的2范数损失和基于结构张量的F范数损失.结果 为了说明融合方法的可行性,在TNO数据集与RoadScene数据集上进行实验,与传统以及深度学习融合方法进行了视觉对比和客观对比,在信息保真度准则、基于梯度的融合性能边缘信息保持度、非线性相关熵以及基于结构相似度的图像质量测量指标等关键图像评价指标上达到了理想的结果.同时,为了验证提出的网络结构以及损失函数的有效性,使得提出的网络模型完备性得到保证.结论 提出的融合模型综合了传统模型和深度学习模型的优点,得到了高质量的融合图像,取得了良好的融合效果.
图像融合、多级特征引导、混合损失、结构张量、显著性检测、深度学习
28
TP391(计算技术、计算机技术)
国家自然科学基金;国家自然科学基金;国家自然科学基金;中国博士后科学基金面上项目
2023-02-09（万方平台首次上网日期，不代表论文的发表时间）
共14页
207-220
