多层次融合注意力网络的双目图像超分辨率重建
目的 随着深度卷积神经网络广泛应用于双目立体图像超分辨率重建任务,双目图像之间的信息融合成为近年来的研究热点.针对目前的双目图像超分辨重建算法对单幅图像的内部信息学习较少的问题,提出多层次融合注意力网络的双目图像超分辨率重建算法,在立体匹配的基础上学习图像内部的丰富信息.方法 首先,利用特征提取模块从不同尺度和深度来获取左图和右图的低频特征.然后,将低频特征作为混合注意力模块的输入,此注意力模块先利用二阶通道非局部注意力模块学习每个图像内部的通道和空间特征,再采用视差注意力模块对左右特征图进行立体匹配.接着采用多层融合模块获取不同深度特征之间的相关信息,进一步指导产生高质量图像重建效果.再利用亚像素卷积对特征图进行上采样,并和低分辨率左图的放大特征相加得到重建特征.最后使用1层卷积得到重建后的高分辨率图像.结果 本文算法采用Flickr1024数据集的800幅图像和60幅经过2倍下采样的Middlebury图像作为训练集,以峰值信噪比(peak signal-to-noise ratio,PSNR)和结构相似性(structural similar-ity,SSIM)作为指标.实验在3个基准测试集Middlebury、KITTI2012和KITTI2015上进行定量和定性评估.实验结果显示,本文算法获得了最清晰的图像效果.当放大因子为2时,在3个数据集上的指标与PASSRnet(learning paral-lax attention for stereo image super-resolution)相比,本文算法的峰值信噪比提升了0.56 dB、0.31 dB和0.26 dB,结构相似性均提升了0.005.结论 本文提出的网络模型充分学习图像内部的丰富信息,有效指导左右特征图的立体匹配.同时,能够不断进行高低频信息融合,取得了较好的重建效果.
卷积神经网络(CNN)、双目图像超分辨率、注意力机制、立体匹配、信息融合
28
TP391.4(计算技术、计算机技术)
国家自然科学基金;国家自然科学基金;江苏省自然科学基金
2023-04-23（万方平台首次上网日期，不代表论文的发表时间）
共12页
1079-1090
