深度卷积神经网络中激活函数的研究

摘要：

针对深度卷积神经网络中经典的AlexNet网络模型中激活函数ReLU在网络模型训练时易产生神经元"死亡"和均值偏移的问题进行研究以及改进,通过结合反正切函数和对数函数的优势,在传统激活函数ReLU基础上提出了一种新的激活函数sArcReLU,并在后续训练过程中进一步调参.并将文中改进后的激活函数sArcReLU用于AlexNet网络模型训练,将使用新激活函数训练的深度卷积神经网络模型应用于公开数据集进行分类实验以验证其性能.实验结果表明:利用sArcReLU激活函数训练的深度卷积神经网络比利用ReLU以及ArcReLU训练的网络模型在分类精度上分别提升了1.7％和2.4％,证明了改进方式经过大量数据充分微调的深度卷积神经网络可有效地提高图像分类精度,该方法同时也提升了深度卷积神经网络的实际应用价值.

关键词：深度卷积神经网络;激活函数;反正切函数;对数函数;图像分类

所属期刊栏目：31

分类号：TP183(自动化基础理论)

资助基金：辽宁省教育科研计划重点项目JYT2020150

在线出版日期：2021-09-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：61-66