连续空间中的随机技能发现算法

摘要：

针对大规模、连续空问随着状态维度指数级增加造成的“维数灾”问题,提出基于Option分层强化学习基础框架的改进的随机技能发现算法.通过定义随机Option生成一棵随机技能树,构造一个随机技能树集合.将任务目标分成子目标,通过学习低阶Option策略,减少因智能体增大而引起学习参数的指数增大.以二维有障碍栅格连续空间内两点间最短路径规划为任务,进行仿真实验和分析,实验结果表明:由于Option被随机定义,因此算法在初始性能上具有间歇的不稳定性,但是随着随机技能树集合的增加,能较快地收敛到近似最优解,能有效克服因为维数灾引起的难以求取最优策略或收敛速度过慢的问题.

关键词：强化学习、Option、连续空间、随机技能发现

所属期刊栏目：39

分类号：TN911-34;TP18

资助基金：国家自然科学基金项目61303108,61373094,61472262;江苏省高校自然科学研究项目资助13KJB520020;吉林大学符号计算与知识工程教育部重点实验室资助项目93K172014K04;江苏省高等职业院校国内高级访问学者计划资助项目2014FX058

在线出版日期：2016-07-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：14-17,20