基于可中断Option的在线分层强化学习方法

摘要：

针对大数据体量大的问题,在Macro-Q算法的基础上提出了一种在线更新的Macro-Q算法(MQIU),同时更新抽象动作的值函数和元动作的值函数,提高了数据样本的利用率.针对传统的马尔可夫过程模型和抽象动作均难于应对可变性,引入中断机制,提出了一种可中断抽象动作的Macro-Q无模型学习算法(IMQ),能在动态环境下学习并改进控制策略.仿真结果验证了MQIU算法能加快算法收敛速度,进而能解决更大规模的问题,同时也验证了IMQ算法能够加快任务的求解,并保持学习性能的稳定性.

关键词：大数据、强化学习、分层强化学习、Option、在线学习

所属期刊栏目：37

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金资助项目61303108,61373094,61272005,61472262;江苏省高校自然科学研究基金资助项目13KJB520020;吉林大学符号计算与知识工程教育部重点实验室基金资助项目93K172014K04;苏州市应用基础研究计划基金资助项目SYG201422;苏州大学高校省级重点实验室基金资助项目KJS1524;中国国家留学基金资助项目No.201606920013 The National Natural Science Foundation of China61303108,61373094,61272005,61472262;The High School Natural Foundation of Jiangsu Province13KJB520020;The Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education of Jilin University93K172014K04;Suzhou Industrial Application of Basic Research ProgramSYG201422;Provincial Key Laboratory for Computer Information Processing Technology of Soochow UniversityKJS1524;The China Scholarship Council Project201606920013

在线出版日期：2016-08-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：65-74