深度神经网络模型压缩综述

摘要：

近年来,随着深度学习的飞速发展,深度神经网络受到了越来越多的关注,在许多应用领域取得了显著效果.通常,在较高的计算量下,深度神经网络的学习能力随着网络层深度的增加而不断提高,因此深度神经网络在大型数据集上的表现非常卓越.然而,由于其计算量大、存储成本高、模型复杂等特性,使得深度学习无法有效地应用于轻量级移动便携设备.因此,压缩、优化深度学习模型成为目前研究的热点.当前主要的模型压缩方法有模型裁剪、轻量级网络设计、知识蒸馏、量化、体系结构搜索等.对以上方法的性能、优缺点和最新研究成果进行了分析总结,并对未来研究方向进行了展望.

关键词：深度学习、模型压缩、神经网络

所属期刊栏目：14

分类号：TP391.4(计算技术、计算机技术)

资助基金：The National Key Research and Development Program of China under Grant No. 2017YFB1401000 国家重点研发计划;the Key Research and Development Program of Shanxi Province under Grant No. 201903D421007 山西省重点研发计划

在线出版日期：2020-09-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共15页

页码：1441-1455