融合改进ASPP和极化自注意力的自底向上全景分割

摘要：

目的 针对ASPP(atrous spatial pyramid pooling)在空洞率变大时空洞(atrous)卷积效果会变差的情况,以及图像分类经典模型ResNet(residual neural network)并不能有效地适用于细粒度图像分割任务的问题,提出一种基于改进ASPP和极化自注意力的自底向上全景分割方法.方法 重新设计ASPP模块,将小空洞率卷积的输出与原始输入进行拼接(concat),将得到的结果作为新的输入传递给大空洞率卷积,然后将不同空洞率卷积的输出结果拼接,并将得到的结果与ASPP中的其他模块进行最后拼接,从而改善ASPP中因空洞率变大导致的空洞卷积效果变差的问题,达到既获得足够感受野的同时又能编码多尺度信息的目的;在主干网络的输出后引入改进的极化自注意力模块,实现对图像像素级的自我注意强化,使其得到的特征能直接适用于细粒度像素分割任务.结果 本文在Cityscapes数据集的验证集上进行测试,与复现的基线网络Panoptic-DeepLab(58.26％)相比,改进ASPP模块后分割精度PQ(panoptic quality)(58.61％)提高了 0.35％,运行时间从103 ms增加到124 ms,运行速度没有明显变化;通过进一步引入极化自注意力,PQ指标(58.86％)提高了 0.25％,运行时间增加到187 ms;通过对该注意力模块进一步改进,PQ指标(59.36％)在58.86％基础上又提高了 0.50％,运行时间增加到192 ms,速度略有下降,但实时性仍好于大多数方法.结论 本文采用改进ASPP和极化自注意力模块,能够更有效地提取适合细粒度像素分割的特征,且在保证足够感受野的同时能编码多尺度信息,从而提升全景分割性能.

关键词：全景分割、语义分割、实例分割、极化自注意力、ASPP

所属期刊栏目：28

分类号：TP391.4(计算技术、计算机技术)

在线出版日期：2023-09-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：2410-2419