深度学习中的权重初始化方法研究

摘要：

深度神经网络训练的实质是初始化权重不断调整的过程,整个训练过程存在耗费时间长、需要数据量大等问题.大量预训练网络由经过训练的权重数据组成,若能发现预训练网络权重分布规律,利用这些规律来初始化未训练网络,势必会减少网络训练时间.通过对AlexNet、ResNet18网络在ImageNet数据集上的预训练模型权重进行概率分布分析,发现该权重分布具备单侧幂律分布的特征,进而使用双对数拟合的方式进一步验证权重的单侧分布服从截断幂律分布的性质.基于该分布规律,结合防止过拟合的正则化思想提出一种标准化对称幂律分布(NSPL)的初始化方法,并基于AlexNet和ResNet32网络,与He初始化的正态分布、均匀分布两种方法在CIFAR10数据集上进行实验对比,结果表明,NSPL方法收敛速度优于正态分布、均匀分布两种初始化方法,且在ResNet32上取得了更高的精确度.

关键词：深度学习、卷积神经网络、预训练模型、权重初始化、对称幂律分布

所属期刊栏目：48

分类号：TP18(自动化基础理论)

资助基金：国家自然科学基金41706198

在线出版日期：2022-09-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：104-113