紧凑的神经网络模型设计研究综述

摘要：

近年来卷积神经网络在广泛的应用中取得了优秀的表现,但巨大的资源消耗量使得其应用于移动端和嵌入式设备成为了挑战.为了解决此类问题,需要对网络模型在大小、速度和准确度方面做出平衡.首先,从模型是否预先训练角度,简要介绍了网络压缩与加速的两类方法——神经网络压缩和紧凑的神经网络.具体地,阐述了紧凑的神经网络设计方法,展示了其中不同运算方式,强调了这些运算的特点,并根据基础运算的不同,将其分为基于空间卷积的模型设计和基于移位卷积的模型设计两大类,然后每类分别选取三个网络模型从基础运算单元、核心构建块和整体网络结构进行论述.同时,分析了各网络以及常规网络在ImageNet数据集上的性能.最后,总结了现有的紧凑神经网络设计技巧,并展望了未来的发展方向.

关键词：卷积神经网络(CNN)、轻量化、移位操作、卷积方式

所属期刊栏目：14

分类号：TP391.4(计算技术、计算机技术)

资助基金：The Fundamental Research Funds for the Central Universities of Central China Normal University under Grant No. CCNU19ZN020 华中师范大学中央高校基本科研业务费专项资金

在线出版日期：2020-09-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共15页

页码：1456-1470