神经网络中处理鞍点的LMBP改进算法

摘要：

针对目前神经网络中的Levenberg-Marquardt反向传播(LMBP)算法在训练过程中有可能迭代到鞍点的问题,提出一种能有效克服鞍点的LMBP改进算法.计算鞍点处雅克比矩阵的正特征值对应的特征向量并将共作为新的搜索方向.通过实例对比传统LMBP算法与改进LMBP算法的效果,证明改进的算法能有效地脱离鞍点并进一步收敛到极小点处.

关键词：神经网络、Levenberg-Marquardt反向传播算法、鞍点、雅克比矩阵、海森矩阵、高斯-牛顿法

所属期刊栏目：38

分类号：TP301.6(计算技术、计算机技术)

资助基金：广东省教育部产学研结合基金资助项目2009B090300393;广州市软件动漫产业发展基金资助项目2060404

在线出版日期：2013-01-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：173-176,180