基于共轭梯度的极速学习机

摘要：

极速学习机(ELM)由于具有较快的训练速度和较好的泛化能力而被广泛的应用到很多的领域,然而在计算数据样例个数较大的情况下,它的训练速度就会下降,甚至会出现程序报错,因此提出在ELM模型中用改进的共轭梯度算法代替广义逆的计算方法.实验结果表明,与求逆矩阵的ELM算法相比,在同等泛化精度的条件下,共轭梯度ELM有着更快的训练速度.通过研究发现:基于共轭梯度的极速学习机算法不需要计算一个大型矩阵的广义逆,而大部分广义逆的计算依赖于矩阵的奇异值分解(SVD),但这种奇异值分解对于阶数很高的矩阵具有很低的效率;因为已经证明共轭梯度算法可通过有限步迭代找到其解,所以基于共轭剃度的极速学习机有着较高的训练速度,而且也比较适用于处理大数据.

关键词：极速学习机、广义逆、共轭梯度法、奇异值分解

所属期刊栏目：35

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金资助项目61170040,71371063, 71201111

在线出版日期：2015-12-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：2757-2760,2765