卷积神经网络压缩中的知识蒸馏技术综述

摘要：

近年来,卷积神经网络(CNN)凭借强大的特征提取和表达能力,在图像分析领域的诸多应用中取得了令人瞩目的成就.但是,CNN性能的不断提升几乎完全得益于网络模型的越来越深和越来越大,在这个情况下,部署完整的CNN往往需要巨大的内存开销和高性能的计算单元(如GPU)支撑,而在计算资源受限的嵌入式设备以及高实时要求的移动终端上,CNN的广泛应用存在局限性.因此,CNN迫切需要网络轻量化.目前解决以上难题的网络压缩和加速途径主要有知识蒸馏、网络剪枝、参数量化、低秩分解、轻量化网络设计等.首先介绍了卷积神经网络的基本结构和发展历程,简述和对比了五种典型的网络压缩基本方法;然后重点针对知识蒸馏方法进行了详细的梳理与总结,并在CIFAR数据集上对不同方法进行了实验对比;其后介绍了知识蒸馏方法目前的评价体系,给出多类型方法的对比分析和评价;最后对该技术未来的拓展研究给出了初步的思考.

关键词：卷积神经网络(CNN);知识蒸馏;神经网络压缩;轻量化网络

所属期刊栏目：15

分类号：TP391.4(计算技术、计算机技术)

在线出版日期：2021-10-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共18页

页码：1812-1829