基于深度卷积长短时神经网络的视频帧预测

摘要：

针对视频帧预测中难以准确预测空间结构信息细节的问题,通过对卷积长短时记忆(LSTM)神经网络的改进,提出了一种深度卷积长短时神经网络的方法.首先,将输入序列图像输入到两个不同通道的深度卷积LSTM网络组成的编码网络中,由编码网络学习输入序列图像的位置信息变化特征和空间结构信息变化特征;然后,将学习到的变化特征输入到与编码网络通道数对应的解码网络中,由解码网络输出预测的下一张图;最后,将这张图输入回解码网络中,预测接下来的一张图,循环预先设定的次后输出全部的预测图.与卷积LSTM神经网络相比,在Moving-MNIST数据集上的实验中,相同训练步数下所提方法不仅保留了位置信息预测准确的特点,而且空间结构信息细节表征能力更强.同时,将卷积门控循环单元(GRU)神经网络的卷积层加深后,该方法在空间结构信息细节表征上也取得了提升,检验了该方法思想的通用性.

关键词：视频帧预测、卷积神经网络、长短时记忆神经网络、编码预测、卷积门控循环单元

所属期刊栏目：39

分类号：TP183(自动化基础理论)

资助基金：国家自然科学基金资助项目61503192,61773219;江苏省自然科学基金资助项目BK20161533;江苏省青蓝工程

在线出版日期：2019-07-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：1657-1662