改进聚类的深度神经网络压缩实现方法
深度神经网络通常是过参数化的,并且深度学习模型存在严重冗余,这导致了计算和存储的巨大浪费.针对这个问题,本文提出了一种基于改进聚类的方法来对深度神经网络进行压缩.首先通过剪枝策略对正常训练后的网络进行修剪,然后通过K–Means++聚类得到每层权重的聚类中心从而实现权值共享,最后进行各层权重的量化.本文在LeNet,AlexNet和VGG–16上分别进行了实验,提出的方法最终将深度神经网络整体压缩了30到40倍,并且没有精度损失.实验结果表明通过基于改进聚类的压缩方法,深度神经网络在不损失精度的条件下实现了有效压缩,这使得深度网络在移动端的部署成为了可能.
深度神经网络、剪枝、K—Means++聚类、深度网络压缩
36
国家自然科学基金重点项目61833013;陕西省重点研发计划重点项目2018ZDXM–GY–089;陕西省现代装备绿色制造协同创新中心研究计划304–210891704;陕西省教育厅科学研究计划2017JS088;西安理工大学特色研究计划2016TS023
2019-08-12（万方平台首次上网日期，不代表论文的发表时间）
共7页
1130-1136
