高效深度神经网络综述

摘要：

近年来,深度神经网络(DNN)在计算机视觉、自然语言处理等AI领域中取得了巨大的成功.得益于更深更大的网络结构,DNN的性能正在迅速提升.然而,更深更大的深度神经网络需要巨大的计算和内存资源,在资源受限的场景中,很难部署较大的神经网络模型.如何设计轻量并且高效的深度神经网络来加速其在嵌入式设备上的运行速度,对于推进深度神经网络技术的落地意义巨大.对近年来具有代表性的高效深度神经网络的研究方法和工作进行回顾和总结,包括参数剪枝、模型量化、知识蒸馏、网络搜索和量化.同时分析了不同方法的优点和缺点以及适用场景,并且展望了高效神经网络设计的发展趋势.

关键词：深度神经网络、模型压缩与加速、知识蒸馏

所属期刊栏目：36

分类号：TP393(计算技术、计算机技术)

在线出版日期：2020-06-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：115-124