基于注意力和卷积特征重排的图像修复

摘要：

近年来,基于U-Net与GAN(生成对抗网络)的深度学习网络模型在图像修复领域展现出了独特的优势,但是修复结果中仍然存在伪影、模糊、纹理细节退化、对于大面积破损难以修复、修复后的孔洞与背景图像不相容等现象.为了解决现有模型对大面积破损图像修复不友好以及修复后的图像存在退化现象等问题,通过对现有方法进行研究,改进了 Shift-UNet(移位网络)模型:在U-Net与GAN的基础上,在每一层编码器和解码器之间增加了改进之后的注意力机制Attention-UNet并融入Shift-UNet,形成Attention-Shift-UNet;通过研究,将原来下采样部分的激活函数由Leaky_ReLU改为了 SiLU函数.改进模型不仅在64×64的中心遮罩上取得了较好的效果,还实现了随机遮罩,遮罩面积由20％增加到80％.通过实验结果证明,该模型的修复效果更优,特别是针对大面积破损图像的修复.在CelebA、ParisArchitecture以及Paris Streetview数据集上经过测试,各评价指标都有明显的提高,其中结构相似性(SSIM)由原来的0.944 5提高到0.947 1,峰值信噪比(PSNR)由原来的27.992 7提高到28.553 6,L2 损失由原来的0.001 7降低到0.001 5.

关键词：图像修复、Attention-Shift-UNet、特征重排、移位网络、注意力机制

所属期刊栏目：40

分类号：TP751.1(遥感技术)

资助基金：国家自然科学基金;甘肃省自然科学基金资助项目;甘肃省敦煌文物保护研究中心开放课题资助项目

在线出版日期：2023-03-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：617-622