基于梯度的自适应阈值结构化剪枝算法

摘要：

在边缘设备上运行深度神经网络模型并进行实时性分析,需要对网络模型进行压缩以减少模型参数量和计算量,但现有剪枝算法存在耗时长和模型压缩率低的问题.提出一种基于梯度设置不同阈值的结构化剪枝算法.对神经元进行细粒度评价,采用神经网络的梯度信息衡量权重的重要性,通过网格搜索和计算曲率的方式获取不同网络层的剪枝权重阈值,根据搜索后的剩余参数量确定不同网络层的卷积核中需要剔除的冗余参数.在此基础上,保留网络层中有效参数较多的卷积核,实现对卷积核个数的调整,进而重新训练以保证模型精度.分别对VGG16、ResNet50分类模型和SSD、Yolov4、MaskRCNN目标检测模型进行剪枝实验,结果表明,经该算法剪枝后,分类模型参数量减少92％以上,计算量减少70％以上,目标检测模型参数量减少75％以上,计算量减少57％以上,剪枝效果优于Rethinking、PF等算法.

关键词：模型压缩、神经网络、梯度信息、自适应阈值、结构化剪枝

所属期刊栏目：48

分类号：TP391(计算技术、计算机技术)

资助基金：国家重点研发计划;山东省重大科技创新工程项目;江苏省科技计划产业前瞻与共性关键技术竞争项目

在线出版日期：2022-09-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：113-120