融合对比预测编码的深度双Q网络

摘要：

在模型未知的部分可观测马尔可夫决策过程(partially observable Markov decision process,POMDP)下,智能体无法直接获取环境的真实状态,感知的不确定性为学习最优策略带来挑战.为此,提出一种融合对比预测编码表示的深度双Q网络强化学习算法,通过显式地对信念状态建模以获取紧凑、高效的历史编码供策略优化使用.为改善数据利用效率,提出信念回放缓存池的概念,直接存储信念转移对而非观测与动作序列以减少内存占用.此外,设计分段训练策略将表示学习与策略学习解耦来提高训练稳定性.基于Gym-MiniGrid环境设计了POMDP导航任务,实验结果表明,所提出算法能够捕获到与状态相关的语义信息,进而实现POMDP下稳定、高效的策略学习.

关键词：部分可观测马尔可夫决策过程、表示学习、强化学习、对比预测编码、深度双Q网络

所属期刊栏目：59

分类号：TP183(自动化基础理论)

资助基金：国家部委预研基金;河南省高校科技创新人才资助项目;河南省高等学校青年骨干教师资助项目

在线出版日期：2023-03-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：162-170