基于激活-熵的分层迭代剪枝策略的CNN模型压缩

摘要：

针对卷积神经网络(CNN)模型现有剪枝策略各尽不同和效果一般的情况,提出了基于激活-熵的分层迭代剪枝(AE-LIP)策略,保证模型精度在可控范围内的同时缩减模型的参数量.首先,结合神经元激活值和信息熵,构建基于激活-熵的权重评判准则,计算权值重要性得分;然后,逐层剪枝,根据重要性得分对权值排序,并结合各层剪枝数量筛选出待剪枝权重并将其设置为0;最后,微调模型,重复上述过程,直至迭代结束.实验结果表明,采用基于激活-熵的分层迭代剪枝策略:AlexNet模型压缩了87.5％;相应的准确率下降了2.12个百分点,比采用基于幅度的权重剪枝策略提高了1.54个百分点,比采用基于相关性的权重剪枝策略提高0.91个百分点.VGG-16模型压缩了84.1％;相应的准确率下降了2.62个百分点,比采用上述两个对比策略分别提高了0.62个百分点和0.27个百分点.说明所提策略在保证模型精确度下有效缩减了CNN模型的大小,有助于CNN模型在存储受限的移动设备上的部署.

关键词：移动云计算、神经元激活值、信息熵、迭代剪枝、模型压缩

所属期刊栏目：40

分类号：TP389.1(计算技术、计算机技术)

资助基金："十三五"国家重点研发计划项目;华能集团重点研发项目

在线出版日期：2020-06-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：1260-1265