基于参考模型的输出反馈强化学习控制

摘要：

现有的直接策略搜索强化学习控制算法大多是状态完全可观对象设计状态反馈控制策略,其适用的对象范围十分有限.为此,提出一种适用范围更广的模型参考输出反馈强化学习控制算法,其学习过程仅依赖对象输出,并可以获得使闭环系统具有期望动态性能的输出反馈控制策略.算法构造了以参考模型为基础的回报函数,可以有效地描述系统的期望闭环动态性能;采用以PID输出反馈控制律为基础的参数化随机控制策略,以便于利用先验知识、依据控制领域常用的PID参数经验整定方法确定较好的初始策略,以缩短学习时间;并使用具有良好学习性能的eNAC算法进行控制策略优化.二阶开环不稳定对象和某型高亚音速无人机俯仰通道线性参变(LPV)模型的学习控制仿真结果验证了算法的有效性.

关键词：强化学习控制、回报函数构造、eNAC算法、输出反馈控制策略

所属期刊栏目：47

分类号：TP18;TP273.22(自动化基础理论)

资助基金：国家自然科学基金资助项目61004066;浙江省科技厅公益性技术资助项目2011C23106;中央高校基本科研业务费专项资金资助项目2011FZA4031

在线出版日期：2013-05-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：409-414,479