基于罚函数内点法的泄露积分型回声状态网的参数优化
为了提升泄露积分型回声状态网(Leaky integrator echo state network,Leaky-ESN)的性能,提出利用罚函数内点法优化Leaky-ESN的全局参数,如泄漏率、内部连接权矩阵谱半径、输入比例因子等,这克服了通过反复试验法选取参数值而降低了Leaky-ESN模型的优越性和性能.Leaky-ESN的全局参数必须保障回声状态网满足回声状态特性,因此它们之间存在不等式约束条件.有学者提出利用随机梯度下降法来优化内部连接权矩阵谱半径、输入比例因子、泄露率三个全局参数,一定程度上提高了Leaky-ESN的逼近精度.然而,随机梯度下降法是解决无约束优化问题的基本算法,在利用随机梯度下降法优化参数时,没有考虑参数必须满足回声特性的约束条件(不等式约束条件),致使得到的参数值不是最优解.由于罚函数内点法可以求解具有不等式约束的最优化问题,应用范围广,收敛速度较快,具有很强的全局寻优能力.因此,本文提出利用罚函数内点法优化Leaky-ESN的全局参数,并以时间序列预测为例,检验优化后的Leaky-ESN的预测性能,仿真结果表明了本文提出方法的有效性.
回声状态网、时间序列预测、有约束优化、罚函数内点法、牛顿法
43
O17;O1
国家自然科学基金61573072,21506014;辽宁省自然科学基金2014020143;2011年辽宁省第一批科学技术计划项目2011402001;辽宁省教育厅科学技术研究项目L2015008资助 Supported by National Nature Science Foundation of China61573072,21506014;Nature Science Foundation of Liaoning Province2014020143;the First Batch of Science and Technology Projects of Liaoning Province2011402001;Science and Technology Research Projects of the Department of Education of Liaoning ProvinceL2015008
2017-09-18（万方平台首次上网日期，不代表论文的发表时间）
共9页
1160-1168
