基于Dropout的改进卷积神经网络模型平均方法

摘要：

针对深度卷积神经网络(CNN)中的过拟合问题,提出一种基于Dropout改进CNN的模型预测平均方法.首先,训练阶段在池化层引入Dropout,使得池化层单元值具有稀疏性;然后,在测试阶段将训练时池化层Dropout选择单元值的概率与池化区域各单元值所占概率相乘作为双重概率;最后,将提出的双重概率加权的模型平均方法应用于测试阶段,使得训练阶段池化层Dropout的稀疏效果能够更好地反映到测试阶段池化层上,从而使测试错误率达到与训练的较低错误率相近的结果.在给定大小的网络中所提方法在MNIST和CIFAR-10数据集上的测试错误率分别为0.31％和11.23％.实验结果表明:仅考虑池化层对结果的影响,所提方法与Prob.weighted pooling和StochasticPooling方法相比具有更低的错误率,表明池化层Dropout使得模型更具泛化性,并且池化单元值对于模型泛化具有一定帮助,能够更有效避免过拟合.

关键词：深度学习、卷积神经网络、Dropout正则化、过拟合、模型平均

所属期刊栏目：39

分类号：TP183(自动化基础理论)

资助基金：国家自然科学基金资助项目61603242;江西省经济犯罪侦查与防控技术协同创新中心开放课题JXJZXTCX-030

在线出版日期：2019-07-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：1601-1606