基于空间角度解耦融合网络的光场重建

摘要：

密集采样的光场能提供沉浸式的视觉体验,在三维重建和虚拟现实等领域有着广泛的应用.光场重建技术可以从稀疏采样光场获取密集采样光场,但当光场图像的基线增大时,会造成重建视图中边缘的遮挡和纹理重复区域的模糊.本文提出了一种基于空间角度解耦融合的光场重建网络,充分利用光场图像蕴含的深度信息以及空间信息解决上述复杂区域的重建难题.采用多路输入方式来获取光场多方向信息以解决遮挡问题,在每条支路通过空洞空间卷积池化金字塔模块来提取多尺度特征,以获取大接受域的视差信息和上下文信息;设计了空间角度解耦融合模块,利用空间信息指导光场角度超分辨率重建,使重建视图在纹理重复区域更加清晰.实验结果表明,该网络在HCI、HCI old和30 scenes数据集上重建光场的平均PSNR和SSIM分别达到了39.73 dB和0.965,表现出较高的准确性,优于所比较的方法.

关键词：光场图像、角度超分辨率、深度学习、解耦融合

所属期刊栏目：37

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金

在线出版日期：2022-10-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：1345-1354