神经网络中LMBP算法收敛速度改进的研究

摘要：

文章对标准BP算法收敛慢的问题进行了分析,并针对其目前最快的改进版本Levenberg-Marquardt BP(LMBP)进行了深入研究,发现其中涉及的矩阵[JTJ+μkI]求逆是其收敛速度的瓶颈.通过使用LU分解法去除耗时的矩阵求逆运算,极大地减少了LMBP的计算量.此外,简化求增广Marquardt Sensitivity矩阵的步骤,也在一定程度上减少了LMBP的计算量.笔者用Microsoft Visual C++6编程实现了改进后的LMBP算法,发现对这两方面的改进,大大提高了收敛速度.文章对Matlab的基于最速下降的BP算法(Traingdx)、Matlab改进的LMBP算法(Trainlm)、LMBP和作者改进的LMBP(ILMBP)进行了大量的试验.结果发现,ILMBP的平均收敛速度比LMBP快约23倍,比Trainlm算法快约9倍.

关键词：BP算法、Levenberg-Marquardt算法、LU分解

所属期刊栏目：42

分类号：TP183(自动化基础理论)

资助基金：高等学校博士学科点专项科研项目20015106002;高等学校优秀青年教师教学科研奖励计划

在线出版日期：2006-07-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：46-49,95