基于通道多尺度融合的场景深度图超分辨率网络

摘要：

针对传统消费级深度相机采集的场景深度图通常存在分辨率低、深度图模糊等缺陷,利用场景高分辨率彩色图引导,提出一种基于通道多尺度融合的场景深度图超分辨率网络——CMSFN.为了有效地利用场景深度图的多尺度信息,CMSFN采用金字塔多尺度结构,在金字塔各层级上,通过对低分辨率深度图进行通道多尺度上采样,并结合残差学习提升深度图分辨率.首先,在超分辨率网络金字塔结构每一层级上对深度特征图与同尺度彩色特征图通过密集连接进行融合,使场景彩色-深度图特征得到复用并能够充分融合场景结构信息;其次,对融合后的深度特征图进行通道多尺度划分,使网络能获得不同大小的感受野,并在不同尺度上有效捕捉特征信息;最后,在CMSFN中加入全局与局部残差结构,使网络在恢复场景深度图高频残差信息的同时缓解梯度消失.对于Middlebury数据集A组,CMSFN方法超分辨率均方根误差平均为1.33,与MFR和PMBANet方法相比,分别降低了6.99％和26.92％;对于Middlebury数据集B组,CMSFN方法超分辨率均方根误差平均为1.41,与MFR和PMBANet方法相比,分别降低了9.03％和17.05％.实验结果表明,CMSFN能够有效地恢复场景深度图的结构信息.

关键词：深度图像、超分辨率、多尺度、残差学习、密集连接

所属期刊栏目：35

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家自然科学基金;浙江省自然科学基金项目

在线出版日期：2023-03-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：37-47