利用自相似性实现医学图像合成的生成对抗网络

摘要：

基于深度卷积的跨模态医学图像合成网络具有从大规模数据资源中学习非线性映射关系以进行局部生成的优势,但现有方法忽略了医学图像具有特征自相似性的特点,仅通过卷积来提取像素级别的特征信息,导致深层特征提取能力不足和语义信息表达不充分.为此,提出了基于图注意力块(Graph Attention Block,GAB)和全局块注意力块(Global Patch Attention Block,GPAB)的生成对抗网络(Graph Attention Block and Global Patch Attention Block Generative Adversarial Networks,GGPA-GAN).其中,用图注意力块和全局块注意力块捕捉医学图像切片间以及切片内的自相似性,进行深层特征的提取.此外,在生成器中加入二维位置编码,利用图像的空间位置信息来增强语义信息的表达能力.在HCP_S1200数据集和ADNI数据集上的实验结果表明,提出的网络在3T-7T、T1-T2的脑部MRI图像合成任务中相较于其他网络取得了最优的结果.在3T-7T脑部MRI图像合成任务中,相比Pix2pix合成方法,该方法在峰值信噪比(Peak Signal-to-Noise Ratio)、结构相似性指数(Structural Similarity Index)和平均绝对误差(Mean Absolute Error)方面分别提升了0.55、0.007和6.55.在T1-T2脑部MRI图像合成任务中,相比Pix2pix合成方法,在PSNR、SSIM和MAE分别提升了0.68、0.006和8.77.这些结果充分证明了此方法的有效性,为临床诊断提供了有力的帮助.

关键词：脑磁共振图像、深度学习、医学图像合成、图注意力、位置编码

所属期刊栏目：43

分类号：TP391.4(计算技术、计算机技术)

资助基金：湖北省自然科学基金资助项目;中央高校基本科研业务费专项资金资助项目

在线出版日期：2024-01-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：78-89