10.16208/j.issn1000-7024.2018.02.026
基于卷积神经网络的随机梯度下降算法
为解决卷积神经网络(CNN)中随机梯度下降算法(SGD)的学习率设置不当对SGD算法的影响,提出一种学习率自适应SGD的更新算法,随着迭代的进行该算法使学习率呈现周期性的改变.针对CNN中Relu激活函数将CNN中的阈值为负的神经元丢弃的缺陷,设计选择Leaky Relu作为激活函数的CNN.实验验证了使用该激活函数的有效性,实验结果表明,采用上述学习率更新算法的SGD可以使网络快速收敛,提高了学习正确率;通过将Leaky Relu激活函数和采用上述学习率更新算法的SGD相结合,进一步提高CNN的学习正确率.
卷积神经网络、随机梯度下降算法、自适应学习率更新算法、Leaky Relu激活函数、快速收敛
39
TP181(自动化基础理论)
国家自然科学基金项目60901078;郑州市科技计划基金项目10LJRC189
2018-05-30(万方平台首次上网日期,不代表论文的发表时间)
共6页
441-445,462