深度神经网络的压缩研究

摘要：

深度神经网络中过多的参数使得自身成为高度计算密集型和内存密集型的模型,这使得深度神经网络的应用不能轻易地移植到嵌入或移动设备上以解决特殊环境下的实际需求.为了解决该问题,提出了基于网络删减、参数共享两者结合的神经网络压缩方案.首先通过删减掉权重小于阈值的网络连接,保留其重要的连接;然后使用K-means聚类算法将删减后每层的参数进行聚类,每簇内的各个参数共享该簇的中心值作为其权重.实验在MNIST数据集上完成手写数字识别功能的LeNet-300-100网络和修改得到的LeNet-300-240-180-100网络分别压缩了9.5×和12.1×.基于网络删减、参数共享两者结合的神经网络压缩方案为未来在特殊环境下更丰富的基于深度神经网络的智能应用提供了可行方案.

关键词：神经网络、压缩、网络删减、参数共享

所属期刊栏目：35

分类号：TP183(自动化基础理论)

资助基金：中国科学院科技服务网络计划STS计划资助项目KFJ-EW-STS-129;中国科学院西部之光人才培养计划资助项目XBBS201319;中国科学院青年创新促进会资助项目;新疆维吾尔自治区引进高层次人才计划资助项目

在线出版日期：2018-12-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：2894-2897,2903