随机特征映射的四层神经网络及其增量学习

摘要：

提出了一种基于随机特征映射的四层神经网络(FRMFNN)及其增量学习算法.FRMFNN首先把原始输入特征通过特定的随机映射算法转化为随机映射特征存储于第一层隐藏层节点中,再经过激活函数对随机映射特征进行非线性转化生成第二层隐藏节点,最后将第二层隐藏层通过输出权重连接到输出层.由于第一层和第二层隐藏层的权重是根据任意连续采样分布概率随机生成的而不需要训练更新,且输出层的权重可以用岭回归算法快速求解,从而避免了传统反向传播神经网络耗时的训练过程.当FRMFNN没有达到期望精度时,借助于快速的增量算法可以持续改进网络性能,从而避免了重新训练整个网络.详细介绍了FRMFNN及其增量算法的结构原理,证明了FRMFNN的通用逼近性.与宽度学习(BLS)和极限学习机(ELM)的增量学习算法相比,在多个主流分类和回归数据集上的实验结果表明了FRMFNN及其增量学习算法的有效性.

关键词：神经网络;机器学习;随机特征映射;宽度学习;通用逼近;增量学习;岭回归;正则化

所属期刊栏目：15

分类号：TP183(自动化基础理论)

资助基金：国家自然科学基金61572236

在线出版日期：2021-08-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共14页

页码：1265-1278