基于MB-K-Means的网络模型参数压缩

摘要：

深度学习目前是计算机领域研究热点之一,而神经网络是深度学习不可缺少的一部分,然而深度网络模型参数巨大,导致迁移学习困难,硬件需求条件巨大.该文提出了一种基于MB-K-Means算法对权重进行聚类,并进行量化的压缩方法.首先,对模型的参数权进行剪枝,并进行稀疏训练恢复其精度.第二,基于MB k-means算法进行权重聚类,然后权重量化共享.利用算法能够增加网络的训练速度,在深度卷积神经网络上进行参数压缩,减少网络模型大小.实验表明,在ImageNet-1000数据集上,AlexNet模型缩小了31倍,VGG模型的缩小了45倍.

关键词：网络参数、MB-K-Means算法、卷积网络、参数压缩

所属期刊栏目：15

分类号：TP393(计算技术、计算机技术)

在线出版日期：2019-04-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共2页

页码：157-158