高分辨率可见光图像引导红外图像超分辨率的Transformer网络
目的 红外图像在工业中发挥着重要的作用.但是由于技术原因,红外图像的分辨率一般较低,限制了其普遍适用性.许多低分辨率红外传感器都和高分辨率可见光传感器搭配使用,一种可行的思路是利用可见光传感器捕获的高分辨率图像,辅助红外图像进行超分辨率重建.方法 本文提出了一种使用高分辨率可见光图像引导红外图像进行超分辨率的神经网络模型,包含两个模块:引导Transformer模块和超分辨率重建模块.考虑到红外和可见光图像对一般存在一定的视差,两者之间是不完全对齐的,本文使用基于引导Transformer的信息引导与融合方法,从高分辨率可见光图像中搜索相关纹理信息,并将这些相关纹理信息与低分辨率红外图像的信息融合得到合成特征.然后这个合成特征经过后面的超分辨率重建子网络,得到最终的超分辨率红外图像.在超分辨率重建模块,本文使用通道拆分策略来消除深度模型中的冗余特征,减少计算量,提高模型性能.结果 本文方法在FLIR-aligned数据集上与其他代表性图像超分辨率方法进行对比.实验结果表明,本文方法可以取得优于对比方法的超分辨率性能.客观结果上,本文方法比其他红外图像引导超分辨率方法在峰值信噪比(peak signal to noise ratio,PSNR)上高0.75 dB;主观结果上,本文方法能够生成视觉效果更加逼真、纹理更加清晰的超分辨率图像.消融实验证明了所提算法各个模块的有效性.结论 本文提出的引导超分辨率算法能够充分利用红外图像和可见光图像之间的关联信息,同时获得红外图像的高质量超分辨率重建结果.
图像超分辨率、图像融合、红外图像、Transformer、深度学习
28
TP391(计算技术、计算机技术)
国家自然科学基金;国家自然科学基金
2023-02-09（万方平台首次上网日期，不代表论文的发表时间）
共11页
196-206
