结合半波高斯量化与交替更新的神经网络压缩方法

摘要：

为使神经网络模型能在实时性要求较高且内存容量受限的边缘设备上部署使用,提出一种基于半波高斯量化与交替更新的混合压缩方法.对神经网络模型输入部分进行2 bit均匀半波高斯量化,将量化值输入带有缩放因子的二值网络通过训练得到初始二值模型,利用交替更新方法对已训练的二值模型进行逐层微调以提高模型测试精度.在CIFAR-10和ImageNet数据集上的实验结果表明,该方法能有效降低参数和结构冗余所导致的内存和时间开销,在神经网络模型压缩比接近30的前提下,测试精度相比HWGQ-Net方法提高0.8和2.0个百分点且实现了10倍的训练加速.

关键词：卷积神经网络、量化、模型压缩、半波高斯量化、交替更新

所属期刊栏目：47

分类号：TP183(自动化基础理论)

资助基金：国家自然科学基金;认知无线电与信息处理省部共建教育部重点实验室基金;广西密码学与信息安全重点实验室基金

在线出版日期：2021-05-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：80-87