基于混合机制的深度神经网络压缩算法

摘要：

近年来人工智能(AI)应用飞速发展,嵌入式设备与移动设备等有限资源设备对深度神经网络(DNN)的需求急剧增加.如何在不影响DNN效果的基础上对神经网络进行压缩具有极大理论与现实意义,也是当下深度学习的热门研究话题.首先,针对DNN因模型大、计算量大而难以移植至移动设备等有限资源设备的问题,深入分析已有DNN压缩算法在内存占用、运行速度及压缩效果等方面的实验性能,从而挖掘DNN压缩算法的影响要素;然后,设计学生网络和教师网络组成的知识迁移结构,融合知识蒸馏、结构设计、网络剪枝和参数量化机制,提出基于混合机制的DNN优化压缩算法.在mini-ImageNet数据集上以AlexNet为Benchmark,进行实验比较与分析.实验结果表明,所提算法在压缩结果的准确率降低6.3%的情况下,使压缩后的AlexNet的容量减小98.5%,验证了所提算法的有效性.

关键词：深度神经网络、网络压缩、网络剪枝、知识蒸馏、参数量化

所属期刊栏目：43

分类号：TP183(自动化基础理论)

在线出版日期：2023-10-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：2686-2691