基于改进的DDPG算法的蛇形机器人路径规划方法

摘要：

针对蛇形机器人执行路径规划任务时,面对复杂环境传统强化学习算法出现的训练速度慢、容易陷入死区导致收敛速度慢等问题,提出了一种改进的深度确定性策略梯度(deep determin-istic policy gradient,DDPG)算法.首先,在策略-价值(actor-critic)网络中引入多层长短期记忆(long short-term memory,LSTM)神经网络模型,使其控制经验池中信息的记忆和遗忘程度;其次,通过最优化特征参数将 CPG(central pattern generators)网络融入强化学习模型,并设计新型网络状态空间和奖励函数;最后,将改进算法与传统算法分别部署在 Webots 环境中进行仿真实验.结果表明,相比于传统算法,改进算法整体训练时间平均降低了 15％,到达目标点迭代次数平均降低了 22％,减少了行驶过程中陷入死区的次数,收敛速度也有明显的提升.因此所提算法可以有效地引导蛇形机器人躲避障碍物,为其在复杂环境下执行路径规划任务提供了新的思路.

关键词：机器人控制、蛇形机器人、改进的DDPG算法、强化学习、CPG网络、Webots三维仿真

所属期刊栏目：44

分类号：TP242.6(自动化技术及设备)

资助基金：国家自然科学基金;河北省重点研发计划项目

在线出版日期：2023-05-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：165-176