基于权值相似性的神经网络剪枝

摘要：

随着深度学习的发展,深度神经网络结构变得越来越复杂,模型深度、大小、计算量以及模型运行时的内存开销、显存开销都随之快速上升,这使得深度网络难以应用到硬件资源不足且实时性要求高的移动终端或是嵌入式设备上(如自动驾驶汽车).神经网络的轻型化是其未来发展的方向,网络压缩已经成为当下研究的热点.对神经网络权值更新传播方式进行深入研究,提出一种简单且易于理解的网络压缩方法.针对卷积层,采用一种基于可分卷积的卷积层加速方法,能够有效减少卷积层(包含pooling)的计算量,并在5层网络中实验测评性能;针对全连接层,应用基于权值相似的剪枝方法.在标准mnist数据集和cifar10数据集上,能够剪除90％以上的全连接层单元,而模型分类准确率没有明显下降.

关键词：深度学习、神经网络、网络压缩、模型加速、剪枝

所属期刊栏目：12

分类号：TP391(计算技术、计算机技术)

资助基金：The National Natural Science Foundation of China under Grant No. 61472434

在线出版日期：2018-08-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：1278-1285