通过K-means算法实现神经网络的加速和压缩

摘要：

近年来,以神经网络为代表的机器学习领域快速发展,已广泛地应用于语音识别和图像识别等各个工业领域.随着应用环境越来越复杂,精度要求越来越高,网络规模也越来越大.大规模神经网络既是计算密集型又是存储密集型结构,其中卷积层是计算密集型层次,全连接层是存储密集型层次.前者的处理速度跟不上存取速度,后者的存取速度跟不上处理速度.基于神经网络本身训练的预测准确率置信区间,提出了一种使用K-means加速和压缩神经网络的方法.通过将卷积过程中的输入特征图采用K-means压缩来减少计算量;通过将全连接层的权重压缩来减少存储量.所提方法对AlexNet网络单个卷积层的计算量最多能降低2个数量级,加入合适的K-means层,整个网络的处理时间加速比能达到2.077,对网络压缩率达到8.7％.

关键词：神经网络、置信区间、加速、聚类压缩

所属期刊栏目：41

分类号：TP389.1(计算技术、计算机技术)

资助基金：国家自然科学基金61672526;国防科技大学科研计划ZK17-03-06

在线出版日期：2019-06-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：796-803