基于预训练的Swin Transformer模型构建及其对糖尿病视网膜病变的诊断效能分析

摘要：

目的 构建基于预训练的Swin Transformer模型,分析其对糖尿病视网膜病变诊断的效能.方法 在数据建模及数据分析竞赛平台(https://www.kaggle.com/competitions/aptos2019-blindness-detection)下载APTOS 2019 Blindness Detection竞赛的训练数据集.使用OpenCV图像处理库通过更改亮度、不同角度翻转和直方图均衡化的方式来增广数据,共得到9160张彩色眼底图片作为完整数据集.构建预训练的Swin Transformer模型对图片进行病变等级分类,与预训练的Vision Transformer、EfficientNetV2、ResNet-50和GoogLeNet四个神经网络模型的训练结果进行对比.还与非预训练的随机初始化参数的Swin Transformer模型对比分析预训练对于模型的影响.结果 基于预训练的Swin Transformer模型的二次加权Kappa值为0.977,准确率达94.6％,相较于Vision Transformer、EfficientNetV2、ResNet-50和GoogLeNet模型的准确率分别提高了1.9％、2.3％、5.4％和7.1％;相较于不使用预训练的Swin Transformer模型,准确率提高4.4％,训练轮数减少近400次.结论 基于预训练的Swin Transformer模型对糖尿病视网膜病变的诊断准确率高,有较好的临床应用价值.

关键词：深度学习、Swin Transformer模型、糖尿病视网膜病变、预训练、智慧医疗

所属期刊栏目：16

分类号：R770.41(眼科学)

资助基金：国家自然科学基金82060143

在线出版日期：2023-05-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：360-365