一种基于共轭梯度法的广义单隐层神经网络

摘要：

单隐层前馈神经网络是一种高效且结构简单的神经网络,它的一种典型的学习算法就是误差反向传播(error back propagation,BP)算法.这种算法基于最速下降法原理,主要缺点是学习速度过慢.超限学习机(extreme learning machine,ELM)极大地优化了单隐层神经网络的学习速度,却需要更多的隐层单元来达到与BP网络相当的效率,这不可避免地使网络结构冗余、测试时间变长.受到一种结合了ELM和最速下降法思想的USA(upper-layer-solution-aware)算法的启发,提出一种基于共轭梯度法的单隐层神经网络快速算法,并把它应用于不同数据库中.试验结果表明,在相同网络结构情况下,本算法的效率要优于ELM和USA算法.

关键词：神经网络、反向传播、超限学习机、共轭梯度法、MNIST

所属期刊栏目：39

分类号：TP389.1(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目61305075;山东省自然科学基金资助项目ZR2013FQ004;教育部博士学科点科研基金资助项目20130133120014;中央高校基本科研业务费专项基金资助项目14CX05042A、15CX04065B、15CX05053A、15CX08011A

在线出版日期：2018-06-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：28-32