基于深度神经网络二阶信息的结构化剪枝算法

摘要：

现有结构化剪枝算法通常运用深度神经网络(DNN)的一阶或者零阶信息对通道进行剪枝,为利用二阶信息加快DNN网络模型收敛速度,借鉴HAWQ算法思想提出一种新的结构化剪枝算法.采用幂迭代法得到经过预训练的网络参数对应Hessian矩阵的主特征向量,据此向量衡量网络通道的重要性并进行通道剪枝,同时对剪枝后的网络参数进行微调提高DNN分类性能.实验结果表明,该算法在网络参数量和每秒浮点运算次数分别减少29.9％和34.6％的情况下,在ResNet110网络上的分类准确率提升了0.74％,剪枝效果优于PF、LCCL等经典剪枝算法.

关键词：深度神经网络、网络压缩、结构化剪枝、二阶信息、幂迭代法

所属期刊栏目：47

分类号：TP183(自动化基础理论)

资助基金：国家自然科学基金;国家新一代人工智能重大项目

在线出版日期：2021-02-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：12-18