卷积神经网络中SPReLU激活函数的优化研究

摘要：

由于激活函数本身的特性,使得卷积神经网络出现了梯度消失、神经元死亡、均值偏移、稀疏表达能力差等问题,针对这些问题,将"S"型激活函数和ReLU系激活函数进行了对比,分别讨论其优点和不足,并结合ReLU、PReLU和Soft-plus三种激活函数优点,提出了一种新型激活函数SPReLU.实验结果表明,SPReLU函数在性能上优于其他激活函数,收敛速度快,能有效降低训练误差,缓解梯度消失和神经元死亡等问题,能够有效地提高文本分类模型的准确性.

关键词：卷积神经网络;激活函数;梯度消失;神经元死亡;ReLU

所属期刊栏目：49

分类号：TP391.41(计算技术、计算机技术)

在线出版日期：2021-09-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：1637-1641