基于最小二乘的双权重学习法

摘要：

强化学习是人工智能领域中的一个研究热点.在求解强化学习问题时,传统的最小二乘法作为一类特殊的函数逼近学习方法,具有收敛速度快、充分利用样本数据的优势.通过对最小二乘时序差分算法(Least-Squares Temporal Difference, LSTD)的研究与分析,并以该方法为基础提出了双权重最小二乘 Sarsa算法(Double Weights With Least Squares Sarsa,DWLS-Sarsa).DWLS-Sarsa算法将两权重通过一定方式进行关联得到目标权重,并利用 Sarsa方法对时序差分误差进行控制.在算法训练过程中,两权重会因为更新样本的不同而产生不同的值,保证了算法可以有效地进行探索;两权重也会因为样本数据的分布而逐渐缩小之间的差距直到收敛至同一最优值,确保了算法的收敛性能.最后将 DWLS-Sarsa 算法与其他强化学习算法进行实验对比,结果表明DWLS-Sarsa算法具有较优的学习性能与鲁棒性,可以有效地处理局部最优问题并提高算法收敛时的表现效果.

关键词：强化学习、函数逼近、最小二乘、时序差分、Sarsa

所属期刊栏目：47

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金;江苏省高等学校自然科学研究重大项目;吉林大学符号计算与知识工程教育部重点实验室资助项目;苏州市应用基础研究计划工业部分

在线出版日期：2020-12-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：210-217