引入注意力机制和多视角融合的脑肿瘤MR图像U-Net分割模型

摘要：

目的 脑肿瘤核磁共振(magnetic resonance,MR)图像分割对评估病情和治疗患者具有重要意义.虽然深度卷积网络在医学图像分割中取得了良好表现,但由于脑胶质瘤的恶性程度与外观表现有巨大差异,脑肿瘤MR图像分割仍是一项巨大挑战.图像语义分割的精度取决于图像特征的提取和处理效果.传统的U-Net网络以一种低效的拼接方式集成高层次特征和低层次特征,从而导致图像有效信息丢失,此外还存在未能充分利用上下文信息和空间信息的问题.对此,本文提出一种基于注意力机制和多视角融合U-Net算法,实现脑肿瘤MR图像的分割.方法 在U-Net的解码和编码模块之间用多尺度特征融合模块代替传统的卷积层,进行多尺度特征映射的提取与融合;在解码模块的级联结构中添加注意力机制,增加有效信息的权重,避免信息冗余;通过融合多个视角训练的模型引入3维图像的空间信息.结果 提出的模型在BraTS18(Multimodal Brain Tumor Segmentation Challenge 2018)提供的脑肿瘤MR图像数据集上进行验证,在肿瘤整体区域、肿瘤核心区域和肿瘤增强区域的Dice score分别为0.907、0.838和0.819,与其他方法进行对比,较次优方法分别提升了0.9％、1.3％和0.6％.结论 本文方法改进了传统U-Net网络提取和利用图像语义特征不足的问题,并引入了3维MR图像的空间信息,使得肿瘤分割结果更加准确,具有良好的研究和应用价值.

关键词：脑肿瘤分割、卷积神经网络(CNN)、多尺度特征、注意力机制、多视角融合

所属期刊栏目：26

分类号：TP391.7(计算技术、计算机技术)

资助基金：浙江省数理医学学会联合基金一般项目LSY19F010001

在线出版日期：2021-09-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：2208-2218