最大相关熵准则下多层极端学习机的批量编码

摘要：

针对多层极端学习机(hierarchical extreme learning machine,HELM)对大样本数据集学习时容易发生过拟合现象且内存需求巨大的问题,提出一种基于最大相关熵准则的批量编码式多层极端学习机.首先通过引入最大相关熵准则( maximum correntropy criterion,MCC)代替HELM决策层中的最小均方差准则(minimum mean square error,MMSE),降低网络对异常点的敏感度,改善过拟合现象,构造出基于最大相关熵准则的多层极端学习机( MCC-HELM).其次利用MCC-HELM对大样本数据分批次进行编码学习,从而降低学习过程中的内存需求与整体运行时间.最后利用在线极端学习机的思想,在最终决策前将所有批次的决策层依次进行融合,推导出基于最大相关熵准则的批量编码式多层极端学习机( BC-HELM).实验结果表明,与HELM相比,本文提出的BC-HELM在保证学习精度的前提下,运行时间更短且内存需求显著降低,与其他多层ELM网络相比学习效率也有较大的提升.

关键词：多层极端学习机、最大相关熵准则、批量学习、自动编码器

所属期刊栏目：41

分类号：TP183(自动化基础理论)

资助基金：河北省自然科学基金项目F2019203320

在线出版日期：2020-04-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：775-781