融合弱层惩罚的卷积神经网络模型剪枝方法

摘要：

深度卷积神经网络的存储和计算需求巨大,难以在一些资源受限的嵌入式设备上进行部署.为尽可能减少深度卷积神经网络模型在推理过程中的资源消耗,引入基于几何中值的卷积核重要性判断标准,提出一种融合弱层惩罚的结构化非均匀卷积神经网络模型剪枝方法.使用欧式距离计算各层卷积核间的信息距离,利用各卷积层信息距离的数据分布特征识别弱层,通过基于贡献度的归一化函数进行弱层惩罚,消除各层间的差异性.在全局层面评估卷积核重要性,利用全局掩码技术对所有卷积核实现动态剪枝.在CIFAR-10、CIFAR-100和SVHN数据集上的实验结果表明,与SFP、PFEC、FPGM和MIL剪枝方法相比,该方法剪枝得到的VGG16单分支、Resnet多分支、Mobilenet-v1轻量化网络模型在保证精度损失较小的情况下,有效地减少了模型参数量和浮点操作数.

关键词：模型剪枝、弱层惩罚、全局掩码、欧式距离、核重要性评估

所属期刊栏目：48

分类号：TP391(计算技术、计算机技术)

资助基金：宁波市公益项目2019C50020

在线出版日期：2022-05-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：67-73