融合注意力机制和多层U-Net的多视图立体重建
目的 针对多视图立体(multi-view stereo,MVS)重建效果整体性不理想的问题,本文对MVS 3D重建中的特征提取模块和代价体正则化模块进行研究,提出一种基于注意力机制的端到端深度学习架构.方法 首先从输入的源图像和参考图像中提取深度特征,在每一级特征提取模块中均加入注意力层,以捕获深度推理任务的远程依赖关系;然后通过可微分单应性变换构建参考视锥的特征量,并构建代价体;最后利用多层U-Net体系结构正则化代价体,并通过回归结合参考图像边缘信息生成最终的细化深度图.结果 在DTU(Technical University of Den-mark)数据集上进行测试,与现有的几种方法相比,本文方法相较于Colmap、Gipuma和Tola方法,整体性指标分别提高8.5％、13.1％和31.9％,完整性指标分别提高20.7％、41.6％和73.3％;相较于Camp、Furu和SurfaceNet方法,整体性指标分别提高24.8％、33％和29.8％,准确性指标分别提高39.8％、17.6％和1.3％,完整性指标分别提高9.7％、48.4％和58.3％;相较于PruMvsnet方法,整体性指标提高1.7％,准确性指标提高5.8％;相较于Mvsnet方法,整体性指标提高1.5％,完整性标提高7％.结论 在DTU数据集上的测试结果表明,本文提出的网络架构在整体性指标上得到了目前最优的结果,完整性和准确性指标得到较大提升,3 D重建质量更好.
注意力机制;多层U-Net;可微分单应性变换;代价体正则化;多视图立体(MVS)
27
TP391.4(计算技术、计算机技术)
云南省重大科技专项计划项目202002AD080001
2022-02-28（万方平台首次上网日期，不代表论文的发表时间）
共11页
475-485
