融合3D注意力和Transformer的图像去雨网络

摘要：

目的 因为有雨图像中雨线存在方向、密度和大小等各方面的差异,单幅图像去雨依旧是一个充满挑战的研究问题.现有算法在某些复杂图像上仍存在过度去雨或去雨不足等问题,部分复杂图像的边缘高频信息在去雨过程中被抹除,或图像中残留雨成分.针对上述问题,本文提出三维注意力和Transformer去雨网络(three-dimen-sion attention and Transformer deraining network,TDATDN).方法 将三维注意力机制与残差密集块结构相结合,以解决残差密集块通道高维度特征融合问题;使用Transformer计算特征全局关联性;针对去雨过程中图像高频信息被破坏和结构信息被抹除的问题,将多尺度结构相似性损失与常用图像去雨损失函数结合参与去雨网络训练.结果 本文将提出的TDATDN网络在Rain12000雨线数据集上进行实验.其中,峰值信噪比(peak signal to noise ratio,PSNR)达到33.01 dB,结构相似性(structural similarity,SSIM)达到0.9278.实验结果表明,本文算法对比以往基于深度学习的神经网络去雨算法,显著改善了单幅图像去雨效果.结论 本文提出的TDATDN图像去雨网络结合了3D注意力机制、Transformer和编码器—解码器架构的优点,可较好地完成单幅图像去雨工作.

关键词：单幅图像去雨、卷积神经网络(CNN)、Transformer、3D注意力、U-Net

所属期刊栏目：27

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家自然科学基金;广东省基础与应用基础研究基金项目;广东省基础与应用基础研究基金项目

在线出版日期：2022-05-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：1509-1521