知识蒸馏方法研究与应用综述

摘要：

随着深度学习方法的不断发展,其存储代价和计算代价也不断增长,在资源受限的平台上,这种情况给其应用带来了挑战.为了应对这种挑战,研究者提出了一系列神经网络压缩方法,其中知识蒸馏是一种简单而有效的方法,成为研究热点之一.知识蒸馏的特点在于它采用了"教师一学生"架构,使用一个大型网络指导小型网络进行训练,以提升小型网络在应用场景下的性能,从而间接达到网络压缩的目的.同时,知识蒸馏具有不改变网络结构的特性,从而具有较好的可扩展性.本文首先介绍知识蒸馏的由来以及发展,随后根据方法优化的目标将知识蒸馏的改进方法分为两大类,即面向网络性能的知识蒸馏和面向网络压缩的知识蒸馏,并对经典方法和最新方法进行系统的分析和总结,最后列举知识蒸馏方法的几种典型应用场景,以便加深对各类知识蒸馏方法原理及其应用的理解.知识蒸馏方法发展至今虽然已经取得较好的效果,但是各类知识蒸馏方法仍然有不足之处,本文也对不同知识蒸馏方法的缺陷进行了总结,并根据网络性能和网络压缩两个方面的分析,给出对知识蒸馏研究的总结和展望.

关键词：知识蒸馏、深度学习、计算机视觉、神经网络、模型压缩

所属期刊栏目：28

分类号：TP391(计算技术、计算机技术)

在线出版日期：2023-10-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共16页

页码：2817-2832