10.19678/j.issn.1000-3428.0064206
基于中间图特征提取的卷积网络双标准剪枝
卷积神经网络(CNN)在计算和存储上存在大量开销,为了使CNN能够在算力和存储能力较弱的嵌入式等端设备上进行部署和运行,提出一种基于中间图特征提取的卷积核双标准剪枝方法.在卷积层后插入中间图互信息特征提取框架,分析卷积核的特征提取能力,结合批量归一化层的缩放因子对卷积核的综合重要性进行评估,获取更为稀疏的CNN模型.针对全连接层存在大量冗余节点的问题,提出一种基于节点相似度与K-means++聚类的全连接层剪枝方法,聚类相似度较高的节点,并对剪枝后的连接层权重进行融合,在一定程度上弥补因剪枝所造成的精度损失.在CIFAR10和CIFAR100数据集上的实验结果表明,使用该剪枝方法对ResNet56网络进行剪枝,在损失0.19％分类精度的情况下能够剪掉48.2％的参数量以及46.7％的浮点运算量,对于VGG16网络,能够剪掉94.5％的参数量以及64.4％的浮点运算量,分类精度仅下降0.01％.与VCNNP、PF等剪枝方法相比,所提剪枝方法能够在保持模型准确率几乎不变的情况下,对CNN的参数量和计算量进行更大比例的裁剪.
深度学习、模型剪枝、卷积神经网络、互信息、节点相似度、K-means++聚类、中间特征
49
TP391(计算技术、计算机技术)
国家自然科学基金;国家自然科学基金;广西自然科学基金项目;广西科技基地和人才专项;广西中青年教师基础能力提升项目;广西中青年教师基础能力提升项目
2023-03-17（万方平台首次上网日期，不代表论文的发表时间）
共8页
105-112
