基于注意力模型的混合学习算法

摘要：

为了解决传统BP(back-propagation)算法收敛速度慢,训练得到的网络性能较差的问题,在借鉴生理学中"选择性注意力模型"的基础上,将遗传算法与误差放大的BP学习算法进行了有机的融合,提出了基于注意力模型的快速混合学习算法.该算法的核心在于将单独的BP训练过程划分为许多小的切片,并对每个切片进行误差放大的训练和竞争淘汰机制的选择.通过发现收敛速率较快的个体和过滤陷入局部极值的个体,来保证网络训练的成功率和实现快速向全局最优区域逼近的目的.仿真结果表明,该算法有效地解决了传统BP算法中由于初始权值的随机性造成的训练失败问题,并能有效解决饱和区域引起的后期训练缓慢问题,在不增加网络隐层节点数的情况下,显著地提高了网络的收敛精度和泛化能力.这将使神经网络在众多实际的分类问题上具有更广泛的应用前景.

关键词：BP算法、人工神经网络、注意力模型、遗传算法、饱和区域、局部极值

所属期刊栏目：16

分类号：TP18(自动化基础理论)

资助基金：国家自然科学基金60273083

在线出版日期：2005-07-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：1073-1080