前馈神经网络的梯度-牛顿耦合学习算法

摘要：

针对前馈神经网络所使用的学习算法应具有收敛速度快、计算复杂度小、稳定性好的特点,利用梯度算法在网络学习初始阶段可使误差函数下降速度快,而牛顿法在学习后期可使收敛率提高,且具有二阶收敛速度,提出了一种梯度-牛顿耦合学习算法;该方法充分发挥了两种算法各自的特长,能弥补牛顿法在网络学习初始阶段对学习初值的敏感性和梯度算法在学习后期的震荡现象等不足;给出了学习速度参数在线优化、带保护的拟牛顿法、梯度-牛顿竞争法以及梯度-牛顿分段等4种确定学习参数的方案.

关键词：前馈神经网络、梯度-牛顿耦合学习算法、收敛性、一维搜索

所属期刊栏目：24

分类号：TP18(自动化基础理论)

资助基金：国家自然科学基金69705001

在线出版日期：2004-01-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：42-46