注意力机制引导的多模态心脏图像分割

摘要：

为有效挖掘模态间共享与模态特有的信息,本文提出一种注意力机制引导的半孪生网络,用于分割多模态(MRI与CT)心脏图像.具体地,首先运用循环一致的生成对抗网络(CycleGAN)进行双向的图像生成(即从MRI到CT以及从CT到MRI),这样可以解决模态间心脏图像不配对的问题;其次,设计一个新的半孪生网络,将原始的CT(或MR)图像及其生成的MR(或CT)图像进行配对并同时输入,先通过两个编码器(encoders)分别学习模态特有的特征,再经过一个跨模态的注意力模块将不同模态的特征进行融合,最后输入一个公共的解码器(decoder)来得到模态共享的特征,用于心脏图像分割.上述学习过程是端到端的方式进行训练.本文将所提方法在真实的CT与MR不配对的心脏图像数据集上进行实验评估,表明所提方法的分割精度超出基准方法.

关键词：注意力机制、多模态心脏图像分割、半孪生网络、跨模态图像生成

所属期刊栏目：42

分类号：TP391.4(计算技术、计算机技术)

资助基金：国家自然科学基金61603193,61876087

在线出版日期：2019-11-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：27-31,41