10.3321/j.issn:1002-8331.2006.16.016
神经网络中LMBP算法收敛速度改进的研究
文章对标准BP算法收敛慢的问题进行了分析,并针对其目前最快的改进版本Levenberg-Marquardt BP(LMBP)进行了深入研究,发现其中涉及的矩阵[JTJ+μkI]求逆是其收敛速度的瓶颈.通过使用LU分解法去除耗时的矩阵求逆运算,极大地减少了LMBP的计算量.此外,简化求增广Marquardt Sensitivity矩阵的步骤,也在一定程度上减少了LMBP的计算量.笔者用Microsoft Visual C++6编程实现了改进后的LMBP算法,发现对这两方面的改进,大大提高了收敛速度.文章对Matlab的基于最速下降的BP算法(Traingdx)、Matlab改进的LMBP算法(Trainlm)、LMBP和作者改进的LMBP(ILMBP)进行了大量的试验.结果发现,ILMBP的平均收敛速度比LMBP快约23倍,比Trainlm算法快约9倍.
BP算法、Levenberg-Marquardt算法、LU分解
42
TP183(自动化基础理论)
高等学校博士学科点专项科研项目20015106002;高等学校优秀青年教师教学科研奖励计划
2006-07-19(万方平台首次上网日期,不代表论文的发表时间)
共5页
46-49,95