基于联合动态剪枝的深度神经网络压缩算法

摘要：

作为模型压缩的一个分支,网络剪枝算法通过移除深度神经网络中不重要的参数来降低计算消耗;然而,永久性的剪枝会导致模型容量不可逆转的损失.针对该问题,提出了一种联合动态剪枝的算法来综合分析卷积核与输入图像的特征.一方面,将部分卷积核置零,并允许其在训练过程中更新,直到网络收敛之后再永久性移除被置零的卷积核.另一方面,采样输入图像的特征,然后利用通道重要性预测网络对这些特征进行分析,从而确定卷积运算中可以跳过的通道.基于M-CifarNet与VGG16的实验结果表明,联合动态剪枝分别取得了2.11和1.99的浮点运算压缩比,而与基准模型(M-CifarNet、VGG16)相比准确率仅分别下降不到0.8个百分点和1.2个百分点.相较于现有的网络剪枝算法,联合动态剪枝有效地减少了模型的浮点运算次数(FLOPs)以及参数规模,在同样的压缩比下获得了更高的准确率.

关键词：模型压缩、网络剪枝、动态剪枝、深度神经网络、卷积核

所属期刊栏目：41

分类号：TP183(自动化基础理论)

资助基金：国网江苏省电力有限公司科技项目J2020069

在线出版日期：2021-07-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：1589-1596