小样本问题下培训弱教师网络的模型蒸馏模型

摘要：

针对深度神经网络在图像识别中存在的训练数据不足,以及多模型蒸馏中存在的细节特征丢失和蒸馏计算量大的问题,提出一种小样本问题下培训弱教师网络的模型蒸馏模型.首先通过集成学习算法中的引导聚集(Bagging)算法培训弱教师网络集,在保留图像数据集细节特征的同时进行并行计算以提升网络生成效率;然后融合知识合并算法,并基于弱教师网络特征图形成单个高质量、高复杂度的教师网络,从而获得细节重点更突出的图像特征图;最后在目前先进的模型蒸馏基础上提出了针对组合特征图改进元网络的集成蒸馏模型,该算法在减少了元网络训练计算量的同时实现了小样本数据集对目标网络的训练.实验结果表明,所提模型在准确率上相较于单纯以优质网络为教师网络的蒸馏方案有6.39％的相对改进;比较自适应增强(AdaBoost)算法训练教师网络再加以蒸馏得到的模型和集成蒸馏模型的模型准确率,二者相差在给定误差范围内,而集成蒸馏模型比AdaBoost算法的网络生成速率提升了4.76倍.可见所提模型能有效提高目标模型在小样本问题下的准确率和训练效率.

关键词：小样本、模型蒸馏、集成学习、元学习、特征合并

所属期刊栏目：42

分类号：TP389.1(计算技术、计算机技术)

资助基金：装备预研中国电科联合基金资助项目6141B08231109

在线出版日期：2022-09-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：2652-2658