结合可变形卷积与双边网格的立体匹配网络

摘要：

双目立体匹配被广泛应用于无人驾驶、机器人导航、增强现实等三维重建领域.在基于深度学习的立体匹配网络中采用多尺度2D卷积进行代价聚合,存在对目标边缘处的视差预测鲁棒性较差以及特征提取性能较低的问题.提出将可变形卷积与双边网格相结合的立体匹配网络.通过改进的特征金字塔网络进行特征提取,并将注意力特征增强、注意力机制、Meta-ACON激活函数引入到改进的特征金字塔网络中,以充分提取图像特征并减少语义信息丢失,从而提升特征提取性能.利用互相关层进行匹配计算,获得多尺度3D代价卷,采用2D可变形卷积代价聚合结构对多尺度3D代价卷进行聚合,以解决边缘膨胀问题,使用双边网格对聚合后的低分辨率代价卷进行上采样,经过视差回归得到视差图.实验结果表明,该网络在Scene Flow数据集中的端点误差为0.75,相比AANet降低13.8％,在KITTI2012数据集中3px的非遮挡区域误差率为1.81％,能准确预测目标边缘及小区域处的视差.

关键词：双目视觉、立体匹配、双边网格、可变形卷积、注意力机制

所属期刊栏目：48

分类号：TP391.4(计算技术、计算机技术)

资助基金：山东省高等学校青年创新团队发展计划2019KJN048

在线出版日期：2022-12-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：241-247,254