深度神经网络的自适应联合压缩方法

摘要：

现有模式单一且固定的深度神经网络压缩方法受限于精度损失,而难以对模型进行充分压缩,致使压缩后模型在实际部署时仍需消耗大量成本高昂且容量有限的存储资源,对其在边缘端的实际应用造成严峻挑战.针对该问题,本文提出一种可同时对模型连接结构和权重位宽进行自适应联合优化的压缩方法.与已有组合式压缩不同,本文充分融合稀疏化和量化方法进行联合压缩训练,从而全面降低模型规模;采用层级自适应的稀疏度和数据表征位宽,缓解因固定压缩比导致的精度次优化问题.通过使用本文提出方法对VGG、ResNet和MobileNet在CIFAR-10 数据集上的实验表明,精度损失分别为 1.3%、2.4%和0.9%时,参数压缩率达到了 143.0×、151.6×和 19.7×;与 12 种典型压缩方法相比,模型存储资源的消耗降低了 15.3×～148.5×.此外,在自建的遥感图像数据集上,该方法仍能在达到最高 284.2×压缩率的同时保证精度损失不超过 1.2%.

关键词：深度神经网络、模型压缩、联合优化、稀疏化、量化

所属期刊栏目：44

分类号：TP183;TH89(自动化基础理论)

在线出版日期：2023-08-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：21-32