卷积神经网络中激活函数的性质分析与改进

摘要：

为了提高卷积神经网络模型的效率,针对激活函数进行了研究.通过研究多种激活函数的发展进程,列举各类激活函数的性质,以及在分析模型前向传播和反向传播中激活函数所起到的作用的基础上,提出了改进的激活函数ReLU-XeX,有效的缓解了梯度消失、"神经元坏死"等问题.在MNIST、CIFAR-10、CIFAR-100、MSTAR数据集上的试验结果表明,改进的激活函数ReLU-XeX整体表现强于其它的一些激活函数,且在模型的收敛速度上有所提升.对激活函数的性质进行了较为深入的研究,将激活函数的理论和实际表现进行了对照,用算法仿真论证了改进的激活函数ReLU-XeX在理论上存在的优势.

关键词：图像识别、深度学习、卷积神经网络、激活函数、反向传播

所属期刊栏目：39

分类号：TP183(自动化基础理论)

资助基金：国防科学技术预先研究基金项目KO01071

在线出版日期：2022-05-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：328-334