特征融合网络:多通道信息融合的光场深度估计

摘要：

光场相机可以仅在一次拍摄中记录场景的空间和角度信息,所生成的图像与传统二维图像相比包含了更多的信息,在深度估计任务方面更具有优势.为了利用光场图像获取高质量的场景深度,基于其多视角的表征方式,提出了一种具有多通道信息高效融合结构的特征融合网络.在人为选择特定视角的基础上,使用不同尺寸卷积核来应对不同的基线变化;同时针对光场数据的多路输入特点搭建了特征融合模块,并利用双通道的网络结构整合神经网络的前后层信息,提升网络的学习效率并减少信息损失.在new HCI数据集上的实验结果显示,该网络在训练集上的收敛速度较快,可以在非朗伯场景中实现精确的深度估计,并且在MSE指标的平均值表现上要优于所对比的其他先进的方法.

关键词：光场、深度估计、卷积神经网络、特征融合、注意力、多视角

所属期刊栏目：41

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金面上项目61876057,61971177

在线出版日期：2021-01-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：922-929