基于域适应互增强的多模态图像语义分割

摘要：

为解决可见光/红外(RGB-IR)双模态图像语义分割任务中模态间特征对不齐的问题,提出一种基于域适应互增强的多模态语义分割方法,在语义分割任务上辅助以可见光图像和红外图像相互之间的域适应转化来对齐不同模态的特征.针对模态内信息对不齐的问题,提出一种多级特征聚合对齐模块来聚合及对齐不同层级的特征.通过在两个夜间街景RGB-IR双模态语义分割数据集上进行相关实验,验证所提方法达到了当前最优性能,设计了大量消融实验验证了模型各部分的有效性.

关键词：语义分割、多模态、红外图像、域适应、特征对齐

所属期刊栏目：43

分类号：TP391.4(计算技术、计算机技术)

资助基金：国家自然科学基金61973122

在线出版日期：2022-10-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：2584-2593