结构约束下的生成对抗深度图修复

摘要：

不同于纹理图像,深度图像中的像素点代表采集设备到场景各点的距离,直接使用通用图像修复方法并不能有效恢复深度图像中缺失区域的场景结构,本文提出一个两阶段编解码结构的生成对抗网络以解决深度图像修复问题.与常见生成对抗网络(Generative adversarial networks,GAN)模型不同,本文的生成器网络包括深度生成G1 和深度修复G2 两个模块.G1 模块从RGB图像得到预测深度,替换待修复深度图像缺失区域,保证修复区域局部结构一致性.G2 模块引入RGB图像边缘结构,保证全局结构一致性.针对现有图像修复方法没有考虑到修复区域间的一致性问题,设计结构一致注意力模块(Structure coherent attention,SCA)加入到G2 中改善修复效果.本文提出的深度图像修复模型在主流数据集上进行了验证,利用结构约束并经过两阶段的生成器模型和判别器模型的共同作用,有效改善了深度图像修复效果.

关键词：深度图像、图像修复、两段式生成对抗网络、边缘结构信息

所属期刊栏目：38

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;四川省重点研发项目;四川省重点研发项目;中央高校基本科研业务费科技创新项目;中央高校基本科研业务费科技创新项目

在线出版日期：2023-10-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：1048-1057