连续空间的递归最小二乘行动者—评论家算法

摘要：

传统的行动者—评论家(actor-critic,AC)算法用在连续空间时,数据利用率低、收敛慢,而现实世界中采样往往需要昂贵的代价,因此提出了一种新的连续空间递归最小二乘AC算法,能够充分利用数据,提高学习预测能力.该方法用高斯径向基函数对连续的状态空间进行编码,评论家部分改用带资格迹的递归最小二乘时间差分方法,而行动者部分用策略梯度方法,在连续动作空间中进行策略搜索.Mountain Car问题的仿真结果表明该算法具有较好的收敛结果.

关键词：强化学习、行动者—评论家方法、连续状态动作空间、递归最小二乘、策略梯度、高斯径向基函数

所属期刊栏目：31

分类号：TP181;TP301.6(自动化基础理论)

资助基金：国家自然科学基金资助项目61070122,61070223,61373094,60970015;江苏省自然科学基金资助项目BK2009116;江苏省高校自然科学研究项目09KJA520002;吉林大学符号计算与知识工程教育部重点实验室资助项目93K172012K04

在线出版日期：2014-09-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：1994-1997,2000