远离旧区域和避免回路的强化探索方法

摘要：

以内在动机为导向的探索类强化学习中,通常根据智能体对状态的熟悉程度产生内在奖励,难以获得较合适的近似度量方法,且这种长期累计度量的方式没有重视状态在其所处episode中的作用.Anchor方法使用锚代替分层强化学习中的子目标,鼓励智能体以远离锚的方式进行探索.受Anchor方法的启发,根据转移状态与同一个episode中历史状态之间的距离设计内在奖励函数,进而提出远离旧区域和避免回路的强化探索方法.将当前episode中部分历史状态组成的集合作为区域,周期性更新区域为最近访问的状态集合,根据转移状态与区域的最小距离给予智能体内在奖励,使智能体远离当前最近访问过的旧区域.将转移状态的连续前驱状态作为窗口并规定窗口大小,根据窗口范围内以转移状态为终点的最短回路长度给予内在奖励,防止智能体走回路.在经典的奖励稀疏环境MiniGrid中的实验结果表明,该方法避免了对状态熟悉程度的度量,同时以一个episode为周期对环境进行探索,有效提升了智能体的探索能力.

关键词：深度强化学习、奖励稀疏任务、内在奖励、旧区域、回路

所属期刊栏目：49

分类号：TP181(自动化基础理论)

资助基金：贵州省科技计划项目;贵州省科技计划项目

在线出版日期：2023-07-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：118-124,134