基于卷积神经网络的随机梯度下降算法

摘要：

为解决卷积神经网络(CNN)中随机梯度下降算法(SGD)的学习率设置不当对SGD算法的影响,提出一种学习率自适应SGD的更新算法,随着迭代的进行该算法使学习率呈现周期性的改变.针对CNN中Relu激活函数将CNN中的阈值为负的神经元丢弃的缺陷,设计选择Leaky Relu作为激活函数的CNN.实验验证了使用该激活函数的有效性,实验结果表明,采用上述学习率更新算法的SGD可以使网络快速收敛,提高了学习正确率;通过将Leaky Relu激活函数和采用上述学习率更新算法的SGD相结合,进一步提高CNN的学习正确率.

关键词：卷积神经网络、随机梯度下降算法、自适应学习率更新算法、Leaky Relu激活函数、快速收敛

所属期刊栏目：39

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金项目60901078;郑州市科技计划基金项目10LJRC189

在线出版日期：2018-05-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：441-445,462