基于误差限制的神经网络混合精度量化方法(特邀)

摘要：

基于卷积神经网络的深度学习算法展现出卓越性能的同时也带来了冗杂的数据量和计算量,大量的存储与计算开销也成了该类算法在硬件平台部署过程中的最大阻碍.而神经网络模型量化使用低精度定点数代替原始模型中的高精度浮点数,在损失较小精度的前提下可有效压缩模型大小,减少硬件资源开销,提高模型推理速度.现有的量化方法大多将模型各层数据量化至相同精度,混合精度量化则根据不同层的数据分布设置不同的量化精度,旨在相同压缩比下达到更高的模型准确率,但寻找合适的混合精度量化策略仍十分困难.因此,提出一种基于误差限制的混合精度量化策略,通过对神经网络卷积层中的放缩因子进行统一等比限制,确定各层的量化精度,并使用截断方法线性量化权重和激活至低精度定点数,在相同压缩比下,相比统一精度量化方法有更高的准确率.其次,将卷积神经网络的经典目标检测算法YOLOV5s作为基准模型,测试了方法的效果.在COCO数据集和VOC数据集上,该方法与统一精度量化相比,压缩到5位的模型平均精度均值(mean Average Precision,mAP)分别提高了 6％和24.9％.

关键词：深度学习、混合精度、截断量化、YOLOV5

所属期刊栏目：51

分类号：TP391.4(计算技术、计算机技术)

在线出版日期：2022-06-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：134-141