基于灵敏度分析的模块化回声状态网络修剪算法

摘要：

针对回声状态网络(Echo state network,ESN)的结构设计问题,提出基于灵敏度分析的模块化回声状态网络修剪算法(Pruning algorithm for modular echo state network,PMESN).该网络由相互独立的子储备池模块构成.首先利用矩阵的奇异值分解(Singular value decomposition,SVD)构造子储备池模块的权值矩阵,并利用分块对角阵原理生成储备池.然后利用子储备池模块输出和相应的输出层权值向量,定义学习残差对于子储备池模块的灵敏度以及网络规模适应度.利用灵敏度大小判断子储备池模块的贡献度,并根据网络规模适应度确定子储备池模块的个数,删除灵敏度低的子模块.在网络的修剪过程中,不需要缩放权值就可以保证网络的回声状态特性.实验结果说明,所提出的算法有效解决了ESN的网络结构设计问题,基本能够确定与样本数据相匹配的网络规模,具有较好的泛化能力和鲁棒性.

关键词：修剪算法、模块化回声状态网络、奇异值分解、灵敏度分析、网络规模适应度

所属期刊栏目：45

资助基金：国家自然科学基金61533002,61603012;北京市教委项目KM201710005025;北京市博士后工作经费资助项目2017ZZ-028;中国博士后科学基金

在线出版日期：2019-07-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：1136-1145