改进GAN网络在生成短视频的应用研究

摘要：

在研究生成对抗网络(GAN)生成动态图像时,经常出现前后帧图像内容中的部分物体颜色不一致和生成的细节不自然等问题.针对当前生成视频的不理想问题,采用的主要方案是分别对GAN网络中的生成器和判别器进行改进,具体表现在两个方面:一方面是在生成器中对视频的前景和背景分别建模,并且使用多重空间自适应归一化(Multi Spatially-Adaptive Nor-malization,M-SPADE)算法;另一方面是在判别器的选取上使用双视频判别器(DVD-GAN),然后在Kinetics-600数据集进行训练,实验后的结果分别比对F-Vid2 Vid,WC-Vid2 Vid等生成方法.实验结果证明了对GAN网络改进的方法在处理生成短视频的前后帧颜色不一致的问题和细节上有着不错的效果,生成的图像相对的更加清晰.

关键词：生成对抗网络;合成短视频;前景-背景图像建模;多重空间自适应归一化;双视频判别器

所属期刊栏目：48

分类号：TP391(计算技术、计算机技术)

资助基金：陕西省科技厅项目;咸阳市科技局项目

在线出版日期：2021-11-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：625-629