卷积核归一化

摘要：

批量归一化已被证明是深度学习模型中不可或缺的一层,可以有效处理深度神经网络训练过程中的内部协方差位移问题.但批量归一化算法的效果依赖于批的大小,当批较小时,批量归一化的效果较差.此外,批量归一化也带来了额外的计算量,需要更多的存储空间.为了解决这些问题,文中提出一种新的归一化算法——卷积核归一化,对权重的输出通道进行归一化,同样可以有效解决内部协方差位移问题.卷积核归一化不依赖于批的大小,并且不需要计算输入的均值和方差,相比批量归一化减少了75％至81％的计算量.实验证明,在批较小的时候,卷积核归一化训练收敛速度较快且准确率较高,比批量归一化高0.9％至12％;在批较大的时候,卷积核归一化与批量归一化最高准确率误差不超过1％.

关键词：卷积核归一化、批量归一化、内部协方差位移、卷积神经网络、深度学习

所属期刊栏目：29

分类号：TP391.9(计算技术、计算机技术)

资助基金：国家核高基重大专项2018ZX01028102

在线出版日期：2019-12-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：27-32