基于改进sigmoid激活函数的深度神经网络训练算法研究

摘要：

针对深度神经网络训练过程中残差随着其传播深度越来越小而使底层网络无法得到有效训练的问题,通过分析传统sigmoid激活函数应用于深度神经网络的局限性,提出双参数sigmoid激活函数;个参数保证激活函数的输入集中坐标原点两侧,避免了激活函数进入饱和区,一个参数抑制残差衰减的速度,双参数结合有效地增强了深度神经网络的训练;用DBN对MNIST数据集进行数字分类实验,实验表明双参数sigmoid激活函数能够直接应用于无预训练深度神经网络,而且提高了sigmoid激活函数在有预训练深度神经网络中的训练效果.

关键词：深度神经网络、残差衰减、sigmoid激活函数

所属期刊栏目：25

分类号：TP183(自动化基础理论)

在线出版日期：2017-03-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：126-129