基于残差卷积注意力网络的视频修复

摘要：

视频修复旨在填补视频中的缺失区域,由于很难精确保持修复内容的时空一致性,故视频修复仍具有挑战性.针对现有视频修复中存在的修复结果语义信息不连续,出现视频模糊和时间伪影,以及网络设计越来越复杂,网络整体速度变慢的问题,本文提出了一种基于残差网络的卷积注意力网络(RCAN)用以视频修复.通过将自注意力机制和全局注意力机制引入进残差网络,增强网络对所有输入帧的时空特征的学习能力,并采用时空对抗损失函数进行优化,提高视频修复的质量.同时网络还能够高度自由地定义层数和参数量,提高网络的实际应用能力.实验结果表明,该网络在DAVIS和YouTube-VOS数据集上取得了PSNR为30.68 dB,SSIM为0.961,FID为0.113的平均修复结果,基本符合实际场景对模型的修复质量要求,为视频修复提供了一种新思路.

关键词：深度学习;视频修复;自注意力机制;残差网络;生成对抗网络

所属期刊栏目：37

分类号：TP391.41;TH691.9(计算技术、计算机技术)

资助基金：国家重点研发计划;广东省科技重大专项;福建省科技重大专项;广东省光信息材料与技术重点实验室开放基金

在线出版日期：2022-03-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：86-96