10.3969/j.issn.1007-130X.2019.05.005
通过K-means算法实现神经网络的加速和压缩
近年来,以神经网络为代表的机器学习领域快速发展,已广泛地应用于语音识别和图像识别等各个工业领域.随着应用环境越来越复杂,精度要求越来越高,网络规模也越来越大.大规模神经网络既是计算密集型又是存储密集型结构,其中卷积层是计算密集型层次,全连接层是存储密集型层次.前者的处理速度跟不上存取速度,后者的存取速度跟不上处理速度.基于神经网络本身训练的预测准确率置信区间,提出了一种使用K-means加速和压缩神经网络的方法.通过将卷积过程中的输入特征图采用K-means压缩来减少计算量;通过将全连接层的权重压缩来减少存储量.所提方法对AlexNet网络单个卷积层的计算量最多能降低2个数量级,加入合适的K-means层,整个网络的处理时间加速比能达到2.077,对网络压缩率达到8.7%.
神经网络、置信区间、加速、聚类压缩
41
TP389.1(计算技术、计算机技术)
国家自然科学基金61672526;国防科技大学科研计划ZK17-03-06
2019-06-10(万方平台首次上网日期,不代表论文的发表时间)
共8页
796-803