基于参数探索的期望最大化策略搜索

摘要：

针对随机探索易于导致梯度估计方差过大的问题,提出一种基于参数探索的期望最大化(Expectationmaximization,EM)策略搜索方法.首先,将策略定义为控制器参数的一个概率分布.然后,根据定义的概率分布直接在控制器参数空间进行多次采样以收集样本.在每一幕样本的收集过程中,由于选择的动作均是确定的,因此可以减小采样带来的方差,从而减小梯度估计方差.最后,基于收集到的样本,通过最大化期望回报函数的下界来迭代地更新策略参数.为减少采样耗时和降低采样成本,此处利用重要采样技术以重复使用策略更新过程中收集的样本.两个连续空间控制问题的仿真结果表明,与基于动作随机探索的策略搜索强化学习方法相比,本文所提方法不仅学到的策略最优,而且加快了算法收敛速度,具有较好的学习性能.

关键词：策略搜索、强化学习、参数空间、探索、期望最大化、重要采样

所属期刊栏目：38

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金60804022;60974050;61072094;教育部新世纪优秀人才支持计划NCET-08-0836;NCET-10-0765;霍英东教育基金会青年教师基金121066

在线出版日期：2012-05-17（万方平台首次上网日期，不代表论文的发表时间）

页码：38-45