多样性正则化极限学习机的集成方法

摘要：

极限学习机(ELM)是一种单隐层前向网络的训练算法,随机确定输入层权值和隐含层偏置,通过分析的方法确定输出层的权值,ELM克服了基于梯度的学习算法的很多不足,如局部极小、不合适的学习速率、学习速度慢等,却不可避免地造成了过拟合的隐患且稳定性较差,特别是对于规模较大的数据集.针对上述问题,提出多样性正则化极限学习机(DRELM)的集成方法.首先,从改变隐层节点参数的分布来为每个ELM随机选取输入权重,采用LOO交叉验证方法和MSEPRESS方法来寻找每个基学习器的最优隐节点数,计算并输出最优隐含层输出权重,训练出较好且具有差异性的基学习器.然后,将有关多样性的新惩罚项显式添加到整个目标函数中,迭代更新每个基学习器的隐含层输出权重并输出结果.最后,集成所有基学习器的输出结果对其求平均值,得到整个网络模型最后的输出结果.该方法能够有效地实现多样性正则化极限学习机(RELM)的融合,兼顾准确率和多样性.在10个不同规模的UCI数据集上的实验结果表明所提出的方法是行之有效的.

关键词：极限学习机(ELM)、集成学习、多样性、正则化极限学习机(RELM)

所属期刊栏目：16

分类号：TP181(自动化基础理论)

资助基金：江苏省自然科学基金BK20191331

在线出版日期：2022-08-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：1819-1828