基于深度强化学习的移动机器人路径规划

摘要：

为解决传统的深度Q网络模型下机器人探索复杂未知环境时收敛速度慢的问题,提出了基于竞争网络结构的改进深度双Q 网络方法(Improved Dueling Deep Double Q-Network,IDDDQN).移动机器人通过改进的DDQN网络结构对其三个动作的值函数进行估计,并更新网络参数,通过训练网络得到相应的Q值.移动机器人采用玻尔兹曼分布与ε-greedy相结合的探索策略,选择一个最优动作,到达下一个观察.机器人将通过学习收集到的数据采用改进的重采样优选机制存储到缓存记忆单元中,并利用小批量数据训练网络.实验结果显示,与基本DDQN算法比,IDDDQN训练的机器人能够更快地适应未知环境,网络的收敛速度也得到提高,到达目标点的成功率增加了3倍多,在未知的复杂环境中可以更好地获取最优路径.

关键词：深度双Q网络(DDQN)、竞争网络结构、重采样优选机制、玻尔兹曼分布、ε-greedy策略

所属期刊栏目：55

分类号：TP399(计算技术、计算机技术)

资助基金：天津市科技计划项目14ZCDGSF00124;天津市自然科学基金16JCYBJC15600

在线出版日期：2019-07-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：15-19,157