基于卷积神经网络的虚拟视点空洞填补

摘要：

为了提高虚拟视点绘制中空洞填补的质量,本文提出一种基于卷积神经网络的虚拟视点空洞填补算法,包括图像预处理、特征提取和空洞填补三部分.首先,对双视点虚拟视点图像进行预处理,即利用深度图像绘制(Depth Image Based Rendering,DIBR)技术得到空洞填补前的图像和空洞掩膜;然后,通过卷积神经网络对虚拟视点图像提取多维特征,针对空洞区域,使用结构相似性损失函数优化网络;最后,利用提取的特征填补虚拟视点中的空洞.实验结果表明,本文算法能较好地保持虚拟视点图像前景和背景的锐利边缘,主观视觉感知效果佳,同时,对不同场景测试序列的客观评价指标PSNR和SSIM都能取得满意结果,该方法能有效地填补虚拟视点中的空洞.

关键词：虚拟视点、空洞填补、卷积神经网络

所属期刊栏目：30

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;国家自然科学基金;浙江省自然科学基金;宁波市自然科学基金

在线出版日期：2019-11-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：994-1002