LSTFormer:基于Swin Transformer的轻量化语义分割网络

摘要：

针对现有基于Transformer的语义分割网络普遍存在计算复杂度高的问题,提出了一种基于Swin Trans-former的轻量化语义分割网络.该网络通过Swin Transformer获取多个尺度的特征图;采用全感知模块和改进的级联融合模块跨层融合不同尺度的特征图,减小不同层级特征图的语义差距;引入单个Swin Transformer block对初分割特征映射进行优化,通过移动窗口自注意力机制提升网络对不同像素点进行分类的能力;训练阶段加入Dice损失函数和交叉熵损失函数,提高网络的分割性能和收敛速度.实验结果表明,LSTFormer在数据集ADE20K和Cityscapes上mIoU分别达到49.47％和81.47％,相较于SETR和Swin-UPerNet等同类网络,LSTFormer在保持相当分割精度的同时具有更低的参数量和计算量.

关键词：轻量化语义分割、Swin Transformer、跨层融合、自注意力机制、损失函数

所属期刊栏目：59

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金62166006

在线出版日期：2023-06-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：166-175