基于无效卷积核权值回退的神经网络优化方法

摘要：

在神经网络模型训练过程中,存在部分卷积核退化为无效卷积核,在神经网络推理过程失去作用的问题.针对该问题,提出了一种仅使用单个模型就能在训练过程中激活无效卷积核,提高模型性能的方法.首先将初始模型训练至收敛时刻;然后通过L1正则和卷积核相关性两种方式衡量卷积核的有效性;最后将无效卷积核的权值回退到模型训练的初期阶段并对模型进行重训练.在CIFAR-10、CIFAR-100等图像分类的数据集上的实验结果表明,无论是在残差网络还是在轻量级网络上,提出的方法都能有效地恢复无效卷积核,提高神经网络模型精度.相比之前的方法,该方法在低代价下达到了最佳效果,在图像分类任务上平均提高了0.93％的准确率.

关键词：卷积神经网络(CNN);图像分类;卷积核替换;卷积核有效性

所属期刊栏目：57

分类号：TP391(计算技术、计算机技术)

资助基金：深圳市科技创新基金JCYJ20180306172101694

在线出版日期：2021-11-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：86-91