时空域上下文学习的视频多帧质量增强方法

摘要：

卷积神经网络(CNN)在视频增强方向取得了巨大的成功.现有的视频增强方法主要在空域探索图像内像素的相关性,忽略了连续帧之间的时域相似性.针对上述问题,提出一种基于时空域上下文学习的多帧质量增强方法(STMVE),即利用当前帧以及相邻多帧图像共同增强当前帧的质量.首先根据时域多帧图像直接预测得到当前帧的预测帧,然后利用预测帧对当前帧进行增强.其中,预测帧通过自适应可分离的卷积神经网络(ASCNN)得到;在后续增强中,设计了一种多帧卷积神经网络(MFCNN),利用早期融合架构来挖掘当前帧及其预测帧的时空域相关性,最终得到增强的当前帧.实验结果表明,所提出的STMVE方法在量化参数值37、32、27、22上,相对于H.265/HEVC,分别获得0.47、0.43、0.38、0.28 dB的性能增益;与多帧质量增强(MFQE)方法相比,平均获得0.17 dB的增益.

关键词：时空域上下文学习、多帧质量增强(MFQE)、卷积神经网络(CNN)、残差学习、预测帧

所属期刊栏目：45

分类号：TP391(计算技术、计算机技术)

资助基金：浙江省自然科学基金;国家重点研发计划

在线出版日期：2020-01-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：2506-2513