深度神经网络模型压缩方法与进展

摘要：

深度神经网络(Deep Neural Network,DNN)模型通过巨大的内存消耗和高计算量来实现强大的性能,难以部署在有限资源的硬件平台上.通过模型压缩来降低内存成本和加速计算已成为热点问题,近年来已有大量的这方面的研究工作.主要介绍了4种具有代表性的深度神经网络压缩方法,即网络剪枝、量化、知识蒸馏和紧凑神经网络设计;着重介绍了近年来具有代表性的压缩模型方法及其特点;最后,总结了模型压缩的相关评价标准和研究前景.

关键词：深度神经网络压缩、网络剪枝、量化、知识蒸馏、紧凑神经网络

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金11501204,U1711262

在线出版日期：2020-11-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共15页

页码：68-82