用于胎儿超声切面识别的知识蒸馏方法

摘要：

胎儿超声切面识别是产前超声检查的主要任务之一,直接影响了产前超声检查的质量.近年来,深度神经网络方法在临床超声辅助诊断方面取得了许多进展.然而,已有研究大多应用预训练模型微调进行迁移学习,这不仅容易导致参数冗余和过拟合问题,而且限制了在实际应用中的实时分析能力.本文提出用于胎儿超声切面识别的知识蒸馏方法.第1阶段,在学生教师网络模型中采用残差网络,对二者隐藏层特征融入注意力机制,提取隐藏层关键信息,进行一次知识迁移,使学生网络获得先验权重;第2阶段,使用教师网络模型指导学生网络模型进行知识蒸馏训练,进一步从整体上提升知识迁移的性能.实验结果表明:学生网络在提升各项性能的同时,降低了模型复杂度,有利于超声设备终端的部署和实时分析能力的提升.

关键词：深度学习;卷积神经网络;残差网络;产前检查;胎儿超声;计算机辅诊;知识蒸馏;模型压缩

所属期刊栏目：17

分类号：TP30(计算技术、计算机技术)

资助基金：国家自然科学基金62006163

在线出版日期：2022-02-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：181-191