基于自注意力机制的视频超分辨率重建

摘要：

现有的视频超分辨率重建方法虽然对提高视频分辨率取得了良好效果,但是很多方法没有充分考虑视频帧间运动时间域与空间域的关联性.针对这个问题,提出一种融合时间和空间域的视频超分辨率重建模型VTSSR,用于在同一个网络模型中同时对视频进行时间和空间域超分辨率重建.该模型使用卷积层和多个残差块对低帧率、低分辨率视频进行特征提取,通过特征插值生成中间帧的特征图,采用改进的基于自注意力机制模块同时融合特征图时间和空间信息,采用亚像素卷积上采样重建得到高帧率的高分辨率视频.VTSSR模型在Vid4数据集测试表明,其能够克服光流预测难以处理遮挡、复杂运动的局限性,还能解决不同相邻帧对于关键帧重建贡献不同的问题,提高了视频超分辨率重建水平.

关键词：视频超分辨率重建、深度学习、残差神经网络、视频插值、多对齐融合、自注意力机制

所属期刊栏目：32

分类号：TP399(计算技术、计算机技术)

资助基金：陕西省重点研发项目2021GY-033

在线出版日期：2022-08-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：42-48