自适应多模态特征融合胶质瘤分级网络

摘要：

目的 胶质瘤的准确分级是辅助制定个性化治疗方案的主要手段,但现有研究大多数集中在基于肿瘤区域的分级预测上,需要事先勾画感兴趣区域,无法满足临床智能辅助诊断的实时性需求.因此,本文提出一种自适应多模态特征融合网络(adaptive multi-modal fusion net,AMMFNet),在不需要勾画肿瘤区域的情况下,实现原始采集图像到胶质瘤级别的端到端准确预测.方法 AMMFNet方法采用4个同构异义网络分支提取不同模态的多尺度图像特征;利用自适应多模态特征融合模块和降维模块进行特征融合;结合交叉熵分类损失和特征嵌入损失提高胶质瘤的分类精度.为了验证模型性能,本文采用MICCAI(Medical Image Computing and Computer Assisted Inter-vention Society)2018公开数据集进行训练和测试,与前沿深度学习模型和最新的胶质瘤分类模型进行对比,并采用精度以及受试者曲线下面积(area under curve,AUC)等指标进行定量分析.结果 在无需勾画肿瘤区域的情况下,本文模型预测胶质瘤分级的AUC为0.965;在使用肿瘤区域时,其AUC高达0.997,精度为0.982,比目前最好的胶质瘤分类模型——多任务卷积神经网络同比提高1.2％.结论 本文提出的自适应多模态特征融合网络,通过结合多模态、多语义级别特征,可以在未勾画肿瘤区域的前提下,准确地实现胶质瘤分级预测.

关键词：胶质瘤分级、深度学习、多模态融合、多尺度特征、端到端分类

所属期刊栏目：26

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家自然科学基金项目;中法"蔡元培"交流合作项目;贵州省科技计划项目

在线出版日期：2021-09-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共14页

页码：2243-2256