Fast-PPO:最优基线法的近端策略优化算法

摘要：

深度确定性策略梯度算法(DDPG)是一种用途广泛的深度强化学习方法,但它往往会受到梯度估计不稳定的影响.最近的一些方法(如近端策略优化算法PPO)只是限制在较低速度下进行策略更新以保持稳定性.在本文中,我们在一个优势演员评论家算法(A2C)架构下对问题进行建模.我们首先分析了A2C中简化解析解的运算,其中策略更新的不稳定性主要归因于两个因素:动作估计的方差和累积奖励的方差.为了解决这个问题,我们提出了一种新的基于最佳基线的近端策略优化算法称为Fast-PPO.具体来说,我们混合了最优基线既考虑了动作估计的优势,又考虑了累积奖励的估计.实验结果表明,我们的方法不仅保证动作估计可以在正确的方向上更快地收敛,而且也保证了在较低的方差下了累积奖励的收敛速度.

关键词：深度强化学习、策略梯度算法、PPO、最优基线

所属期刊栏目：41

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金项目;中央高校基本科研业务费基础研究项目

在线出版日期：2020-07-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：1351-1356