基于两层模糊划分的时间差分算法

摘要：

针对传统的基于查询表或函数逼近的Q值迭代算法在处理连续空间问题时收敛速度慢、且不易求解连续行为策略的问题，提出了一种基于两层模糊划分的在策略时间差分算法--DFP-OPTD，并从理论上分析其收敛性。算法中第一层模糊划分作用于状态空间，第二层模糊划分作用于动作空间，并结合两层模糊划分计算出Q值函数。根据所得的Q值函数，使用梯度下降方法更新模糊规则中的后件参数。将DFP-OPTD应用于经典强化学习问题中，实验结果表明，该算法有较好的收敛性能，且可以求解连续行为策略。

关键词：强化学习、在策略、梯度下降、两层模糊划分、连续行为策略

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金资助项目61070223,61103045,61070122,61272005；江苏省自然科学基金资助项目BK2012616；江苏省高校自然科学研究基金资助项目09KJA520002,09KJB520012；吉林大学符号计算与知识工程教育部重点实验室基金资助项目93K172012K04Foundation Items:The National Natural Science Foundation of China61070223,61103045,61070122,61272005;The Natural Science Foundation of Jiangsu ProvinceBK2012616;The High School Natural Foundation of Jiangsu Province09KJA520002,09KJB520012;The Foundation of Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education of Jilin University93K172012K04

在线出版日期：2013-11-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：92-99