基于自适应分层阈值判断的神经网络模型压缩

摘要：

面对多样化的应用环境,卷积神经网络(CNN)的架构深度不断增加以提升精度,但同时需要大量的计算参数和网络存储.针对CNN卷积层参数冗余和运算效率低的问题,提出一种基于分层阈值的自适应动态剪枝方法.设计自适应分层阈值判断算法,对批归一化层的尺度因子进行聚类分析,自适应地找到每层的分类断点并据此确定最终阈值,利用该阈值修剪正则化后的输入模型,从而避免根据经验人为定义固定阈值,减小模型尺寸和运行时占用的内存.分别采用该方法和LIU等提出的使用固定阈值且全局修剪的方法对VGGNet、ResNet、DenseNet和LeNet模型进行压缩,并在CIFAR、SVHN和MNIST数据集上测试模型性能.实验结果表明,该方法能够在模型精度与剪枝率之间找到最优平衡,剪枝后模型的测试错误率较对比方法降低0.02～1.52个百分点,同时自适应分层阈值判断算法也能避免对比方法在全局修剪时减去整个层的问题.

关键词：深度学习;图像识别;卷积神经网络;模型压缩;网络剪枝

所属期刊栏目：48

分类号：TP18(自动化基础理论)

资助基金：国家自然科学基金;国家自然科学基金;上海市地方院校能力建设项目

在线出版日期：2022-01-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：112-118,126