随机初始化神经网络剪枝的稀疏二值规划方法

摘要：

传统深度神经网络剪枝方法往往以预训练模型为初始网络并需要在剪枝后进行微调.受到近年来edge-popup等基于随机初始化网络的剪枝算法优异性能的启发,提出了一种基于稀疏二值规划的随机初始化网络剪枝算法.该算法将剪枝训练过程建模为一个稀疏二值约束优化问题.其核心思想是利用稀疏二值规划来学习一个二值掩膜,利用该掩膜可以从随机初始化的神经网络上裁剪出一个未经训练却性能良好的稀疏网络.与之前基于随机初始化网络的剪枝算法相比,该算法找到的稀疏网络在多个稀疏度下都具有更好的分类泛化性能.与edge-popup算法相比,在ImageNet数据集分类任务中,模型在稀疏度为70％时精度提升7.98个百分点.在CIFAR-10数据集分类任务中,模型在稀疏度为50％时精度提升2.48个百分点.

关键词：神经网络剪枝、随机初始化、二值掩膜、二值规划、稀疏优化

所属期刊栏目：59

分类号：TP39(计算技术、计算机技术)

资助基金：科技创新新一代人工智能重大项目;国家自然科学基金;国家自然科学基金;国家自然科学基金

在线出版日期：2023-04-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：138-147