基于改进ELM的递归最小二乘时序差分强化学习算法及其应用

摘要：

针对值函数逼近算法对精度及计算时间等要求,提出了一种基于改进极限学习机的递归最小二乘时序差分强化学习算法.首先,将递推方法引入到最小二乘时序差分强化学习算法中消去最小二乘中的矩阵求逆过程,形成递推最小二乘时序差分强化学习算法,减少算法的复杂度及其计算量.其次,考虑到LSTD(0)算法收敛速度慢,加入资格迹增加样本利用率提高收敛速度的算法,形成LSTD(λ)算法,以保证在经历过相同数量的轨迹后能收敛于真实值.同时,考虑到大部分强化学习问题的值函数是单调的,而传统ELM方法通常运用具有双侧抑制特性的Sigmoid激活函数,增大了计算成本,提出采用具有单侧抑制特性的Softplus激活函数代替传统Sigmoid函数,以减少计算量提高运算速度,使得该算法在提高精度的同时提高了计算速度.通过与传统基于径向基函数的最小二乘强化学习算法和基于极限学习机的最小二乘TD算法在广义Hop-world问题的对比实验,比较结果证明了所提出算法在满足精度的条件下有效提高了计算速度,甚至某些条件下精度比其他两种算法更高.

关键词：强化学习、激活函数、递归最小二乘算法、函数逼近、广义Hop-world问题

所属期刊栏目：68

分类号：TP29(自动化技术及设备)

资助基金：国家自然科学基金项目61573051,61472021;软件开发环境国家重点实验室开放课题SKLSDE-2015KF-01;中央高校基本科研业务费专项资金项目PT1613-05. supported by the National Natural Science Foundation of China61573051, 61472021;the Open Fund of the State Key Laboratory of Software Development EnvironmentSKLSDE-2015KF-01;the Fundamental Research Funds for Central Universities of ChinaPT1613-05

在线出版日期：2017-04-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：916-924