Ridge Polynomial神经网络带动量项异步梯度算法的收敛性

摘要：

将动量项引入到Ridge Polynomial神经网络异步梯度训练算法的误差函数中,有效地改善了算法的收敛效率,并从理论上分析了Ridge Polynomial神经网络的带动量项的异步梯度算法的收敛性,给出了算法的单调性和收敛性(包括强收敛性和弱收敛性).算法的这些收敛性质对于如何选取学习率和初始权值来进行高效的网络训练是非常重要的.最后通过计算机仿真实验验证了带动量项的异步梯度算法的高效性和理论分析的正确性.

关键词：Ridge Polynomial神经网络、异步梯度算法、动量项、单调性、收敛性

所属期刊栏目：40

分类号：TP183(自动化基础理论)

资助基金：国家自然科学基金项目61063045;广西科技攻关项目桂科攻11107006-1;广西教育厅项目TLZ100715

在线出版日期：2014-01-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：116-121