Transformer与CNN融合的单目图像深度估计

摘要：

针对单目视觉图像深度估计时存在精度低的问题,提出一种Transformer和CNN融合的单目图像深度估计方法.首先,采用ResNet-50作为编码器-解码器网络的主干网络对图像特征进行提取,同时在编码器-解码器网络中采用层级融合的方法,将编码器各层级特征进行融合作为解码器的输入,提升深度估计网络对多尺度特征信息的利用率.其次,采用Transformer网络对解码器的输出特征进行全局分析,Transformer网络中的多头注意力机制从解码器输出的深层特征中估计深度信息,提高深度估计网络对多尺度特征的提取能力进而提高深度图的精准度.在NYU Depth-v2数据集上完成模型有效性验证.实验结果表明,与多尺度卷积神经网络相比,该方法在精度δ<1.25上提高24.3％,在均方根误差指标上降低61.3％.证明其在单目图像深度估计的可行性.

关键词：卷积神经网络、编码器-解码器、Transformer、深度估计、单目视觉

所属期刊栏目：27

分类号：TP391(计算技术、计算机技术)

资助基金：内蒙古自治区科技计划项目2020GG0048

在线出版日期：2023-03-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：88-94