神经网络滤波器竞争训练

摘要：

非重要权重元素的修剪和重新激活可避免神经网络过度参数化,然而权重元素的重新激活一般是通过激活整个滤波器实现,分类准确率不高.针对该问题,在神经网络训练过程中提出一种滤波器权值竞争训练算法.在局部和全局范围内选择并定位劣质滤波器,根据前向匹配策略寻找相应的优质滤波器,使用其中的最优和次优权重元素交叉更新劣质滤波器中的次劣和最劣权重元素,在神经网络结构上使陷入局部极值的权值进行重新激活.实验结果表明,应用滤波器权值竞争训练算法的ResNet、DenseNet等普通神经网络在CIFAR数据集上的分类准确率和在ImageNet数据集上的Top-1准确率平均提升了0.79和1.13个百分点,MobileNet、ShuffleNet等轻量级神经网络平均提升了2.22和2.93个百分点,优于现有的滤波器竞争训练算法.

关键词：神经网络、权值竞争、重新激活、滤波器剪枝、插件式训练

所属期刊栏目：49

分类号：TP183(自动化基础理论)

资助基金：中国南方电网有限责任公司科技项目GZHKJXM20200058

在线出版日期：2023-04-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：120-124