融合多尺度特征的光场图像超分辨率方法

摘要：

光场相机作为新一代的成像设备,能够同时捕获光线的空间位置和入射角度,然而其记录的光场存在空间分辨率和角度分辨率之间的制约关系,尤其子孔径图像有限的空间分辨率在一定程度上限制了光场相机的应用场景.因此本文提出了一种融合多尺度特征的光场图像超分辨网络,以获取更高空间分辨率的光场子孔径图像.该基于深度学习的网络框架分为三大模块:多尺度特征提取模块、全局特征融合模块和上采样模块.网络首先通过多尺度特征提取模块学习4D光场中固有的结构特征,然后采用融合模块对多尺度特征进行融合与增强,最后使用上采样模块实现对光场的超分辨率.在合成光场数据集和真实光场数据集上的实验结果表明,该方法在视觉评估和评价指标上均优于现有算法.另外本文将超分辨后的光场图像用于深度估计,实验结果展示出光场图像空间超分辨率能够增强深度估计结果的准确性.

关键词：超分辨、光场、深度学习、多尺度特征提取、特征融合

所属期刊栏目：47

分类号：TP391.4(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目11772197

在线出版日期：2021-01-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：54-64