引入特征交互的红外与可见光图像自适应融合

摘要：

在图像融合领域,现有的基于卷积神经网络(CNN)或Transformer架构的方法存在两个局限性:首先,浅层纹理特征与深层语义特征之间无法有效聚合;其次,红外与可见光特征的权重比例无法自适应变化.本文提出一种引入特征交互的红外与可见光图像自适应融合方法.首先,构建一种基于Transformer的特征交互模块,聚合跨尺度特征信息,增强特征表达能力.其次,设计一种融合模块,自适应地调整特征权重比例.所提出的融合方法通过两阶段训练策略完成.第一个阶段,应用创新的特征交互概念训练编码器,增强特征表达,重建特征图像.第二个阶段,基于设计的权重自适应调整模块训练红外与可见光特征融合任务.公开数据集的实验结果表明,与现有方法相比,本方法在主观和客观的评价方面均优于其他典型方法.

关键词：图像融合、Transformer、特征交互、自适应融合、跨尺度

所属期刊栏目：53

分类号：TP391.41;TN219(计算技术、计算机技术)

资助基金：江苏省产业前瞻与关键核心技术-碳达峰碳中;科技创新专项资金项目

在线出版日期：2023-08-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：1052-1059