固定长度经验回放对Q学习效率的影响

摘要：

提出了一种固定长度经验回放的思想,并将该思想与一步Q和Peng Q(λ)学习算法相结合,得到了相应的改进算法.该文采用不同的回放长度L将改进的算法应用在网格环境和汽车爬坡问题中进行了仿真.结果表明,改进的一步Q学习算法在两个例子中都比原算法具有更好的学习效率.改进的Peng Q(λ)学习在马尔可夫环境中对选择探索动作非常敏感,增大L几乎不能提高学习的效率,甚至会使学习效率变差;但是在具有非马尔可夫属性的环境中对选择探索动作比较不敏感,增大L能够显著提高算法的学习速度.实验结果对如何选择适当的L有着指导作用.

关键词：经验回放、再励学习、Q学习

所属期刊栏目：32

分类号：TP181(自动化基础理论)

在线出版日期：2006-04-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：7-10