紧致化神经网络的鲁棒性分析

摘要：

深度神经网络(deep neural network,DNN)目前已经在很多视觉识别任务中达到了超越人类性能的表现.然而,将深度神经网络部署到真实场景的终端设备面临着两个挑战:首先,目前的深度神经网络模型非常耗费计算资源和内存,很难直接应用在资源受限的终端设备上;其次,真实场景的数据往往受到各种各样噪声的影响,因此部署在真实场景的模型应该拥有良好的鲁棒性(robustness).近年来出现了很多对深度神经网络进行压缩和加速的方法以适应真实场景的资源受限终端,而对这些压缩模型的鲁棒性分析也得到了越来越多的关注.本文首次对神经网络剪枝、量化及知识蒸馏等常用的压缩算法进行对抗鲁棒性及噪声鲁棒性分析,总结了不同压缩算法对神经网络鲁棒性的影响.并对目前同时解决神经网络鲁棒性及模型大小问题的一些方案进行了整理与分析,展望了该领域未来研究的技术挑战与可能的发展方向.

关键词：神经网络、量化与剪枝、知识蒸馏、鲁棒性分析

所属期刊栏目：52

分类号：TP391.41;TN912.34;F253.9

资助基金：广东省重点领域研发计划资助项目2019B010153002

在线出版日期：2022-07-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共15页

页码：689-703