神经网络超参数优化的删除垃圾神经元策略

摘要：

随着深度学习处理问题的日益复杂,神经网络的层数、神经元个数、和神经元之间的连接逐渐增加,参数规模急剧膨胀,优化超参数来提高神经网络的预测性能成为一个重要的任务.文献中寻找最优参数的方法如灵敏度剪枝、网格搜索等,算法复杂而且计算量庞大.本文提出一种超参数优化的"删除垃圾神经元策略".权重矩阵中权重均值小的神经元,在预测中的贡献可以忽略,称为垃圾神经元.该策略就是通过删除这些垃圾神经元得到精简的网络结构,来有效缩短计算时间,同时提高预测准确率和模型泛化能力.采用这一策略,长短期记忆网络模型对几种典型混沌动力系统的预测性能得到显著改善.

关键词：LSTM、混沌时间序列预测、超参数优化、删除垃圾神经元策略

所属期刊栏目：71

分类号：TP391;TM743;TP183

资助基金：国家自然科学基金;国家自然科学基金;资助的课题

在线出版日期：2022-09-05（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：77-85