基于KL散度的策略优化

摘要：

强化学习(Reinforcement Learning,RL)在复杂的优化和控制问题中具有广泛的应用前景.针对传统的策略梯度方法在处理高维的连续动作空间环境时无法有效学习复杂策略,导致收敛速度慢甚至无法收敛的问题,提出了一种在线学习的基于KL散度的策略优化算法(KL-divergence-based Policy Optimization,KLPO).在Actor-Critic方法的基础上,通过引入KL散度构造惩罚项,将"新""旧"策略间的散度结合到损失函数中,以对Actor部分的策略更新进行优化;并进一步利用KL散度控制算法更新学习步长,以确保策略每次在由KL散度定义的合理范围内以最大学习步长进行更新.分别在经典的倒立摆仿真环境和公开的连续动作空间的机器人运动环境中对所提算法进行了测试.实验结果表明,KLPO算法能够更好地学习复杂的策略,收敛速度快,并且可获取更高的回报.

关键词：强化学习、KL散度、策略优化、连续动作空间

所属期刊栏目：46

分类号：TP301(计算技术、计算机技术)

资助基金：国家自然科学基金61375007;上海市科委基础研究项目15JC1400600

在线出版日期：2019-07-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：212-217