强化学习中的策略重用:研究进展

摘要：

策略重用(policy reuse,PR)作为一种迁移学习(transfer learning,TL)方法,通过利用任务之间的内在联系,将过去学习到的经验、知识用于加速学习当前的目标任务,不仅能够在很大程度上解决传统强化学习(reinforcement learning,RL)收敛速度慢、资源消耗大等问题,而且避免了在相似问题上难以复用的问题.本文综述了RL中的PR方法,将现有方法细分为策略重构、奖励设计、问题转换、相似性度量等方面来分别介绍和分析各自的特点,及其在多智能体场景和深度RL (deep RL,DRL)中的扩展.并且,介绍了源和目标任务之间的映射方法.最后,基于当前PR的应用,叙述了该课题在未来发展方向上的一些猜想和假设.

关键词：强化学习;迁移学习;策略重用;任务映射

所属期刊栏目：44

分类号：TP181(自动化基础理论)

资助基金：十三五全军共用信息系统装备预研项目31505550302

在线出版日期：2022-03-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共16页

页码：884-899