基于径向基神经网络的多步Sarsa控制算法

摘要：

针对具有连续状态空间的无模型非线性系统,提出一种基于径向基(radial basis function,RBF)神经网络的多步强化学习控制算法.首先,将神经网络引入强化学习系统,利用RBF神经网络的函数逼近功能近似表示状态-动作值函数,解决连续状态空间表达问题;然后,结合资格迹机制形成多步Sarsa算法,通过记录经历过的状态提高系统的学习效率;最后,采用温度参数衰减的方式改进softmax策略,优化动作的选择概率,达到平衡探索和利用关系的目的.MountainCar任务的仿真实验表明:所提出算法经过少量训练能够有效实现无模型情况下的连续非线性系统控制;与单步算法相比,该算法完成任务所用的平均收敛步数更少,效果更稳定,表明非线性值函数近似与多步算法结合在控制任务中同样可以具有良好的性能.

关键词：RBF神经网络、强化学习、Sarsa算法、连续空间、值函数近似、资格迹

所属期刊栏目：38

分类号：TP181(自动化基础理论)

资助基金：航空科学基金;国防基础科研计划;河南省高等学校重点科研项目;河南省自然科学基金项目

在线出版日期：2023-05-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：944-950