基于Transformer和多尺度CNN的图像去模糊

摘要：

卷积神经网络(CNN)单独应用于图像去模糊时感受野受限,Transformer能有效缓解这一问题但计算复杂度随输入图像空间分辨率的增加呈2次方增长.为此,提出一种基于Transformer和多尺度CNN的图像去模糊网络(T-MIMO-UNet).利用多尺度CNN提取空间特征,并嵌入Transformer全局特性捕获远程像素信息.设计局部增强Transformer模块、局部多头自注意力计算网络和增强前馈网络,采用窗口的方式进行局部逐块多头自注意力计算,通过增加深度可分离卷积层,加强不同窗口之间的信息交互.在GoPro测试数据集上的实验结果表明,T-MIMO-UNet的峰值信噪比相比于MIMO-UNet、DeepDeblur、DeblurGAN、SRN网络分别提升了0.39 dB、2.89 dB、3.42 dB、1.86 dB,参数量相比于MPRNet减少了1/2,能有效解决动态场景下的图像模糊问题.

关键词：图像去模糊、多尺度卷积神经网络、Transformer编码器、多头自注意力、增强前馈网络

所属期刊栏目：49

分类号：TP391(计算技术、计算机技术)

资助基金：天津市重点研发计划科技支撑重点项目18YFZCGX00930

在线出版日期：2023-09-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：226-233,245