联合语义分割和深度估计的多任务学习研究

摘要：

语义分割和深度估计任务是对图像像素级分类的研究,是两个高度相关的任务.从共享特征学习和特征交互融合两个角度出发,提出两个不同的多任务学习 架构,即基于压缩激励模块(Squeeze-and-Excitation,SE)和金字塔池化的多任务学习网络(Multi-task Learning with SE and Pyramid Pooling,MTL_SPP),以及基于压 缩激励和可选择权重(Selective Weight,SW)的多任务学习网络(Multi-task Learning with SE and Selective Weights,MTL_SSW),来联合学习语义分割和深度估计.MTL_SPP架构由共享骨干特征网络和任务特定的子网络组成,利用SE模块构建任务特定子网络,并利用金字塔池化增强特征提取.MTL_SSW 在 MTL_SPP的基础上,让任务特定子网络的语义分割特征和深度估计特征通过SW 模块进行相互指导和优化,学习对特定任务更具判别性的特征.实验结果表明,提出的两种方法在NYUD_v2和SUNRGBD两个数据集上获得了优于先进方法的效果.

关键词：多任务学习、语义分割、深度估计、压缩激励、可选择权重

所属期刊栏目：50

分类号：TP391(计算技术、计算机技术)

在线出版日期：2023-09-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：171-180