深度神经网络训练中适用于小批次的归一化算法

摘要：

近年来,批归一化(Batch Normalization,BN)算法已成为深度网络训练不可或缺的一部分.BN通过计算批次中示例的均值和方差来对输入进行归一化,从而缓解深度神经网络训练中的梯度爆炸或者消失的问题.但是,由于算法与批次大小有关,BN算法用于小批次时会因为不准确的估计导致性能下降.批重归一化(Batch ReNormaliza-tion,BRN)用指数移动平均(Exponential Moving Average,EMA)后的值对输入进行归一化操作,减小了归一化算法对批次的依赖.本文基于图像分类任务研究了在输入是小批次时归一化技术的应用,提出了通过改变EMA初值并对估计值加以修正来得到更准确的参数估计的批归一化算法.实验结果表明,所提算法与标准的BN和BRN算法相比,收敛速度更快,准确率有一定的改善.

关键词：图像分类、归一化算法、小批次、指数移动平均

所属期刊栏目：46

分类号：TP183(自动化基础理论)

资助基金：国家自然科学基金项目61372123,61401228,61671253;南京邮电大学科学研究基金项目NY213002

在线出版日期：2019-12-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：273-276,308