基于改进PPO算法的机器人局部路径规划

摘要：

利用强化学习训练机器人局部路径规划模型存在算法收敛速度慢、易陷入死锁区域导致目标不可达等问题.对传统近端策略优化(PPO)算法进行改进,引入长短期记忆(LSTM)神经网络并设计虚拟目标点法,提出LSTM-PPO算法.将PPO神经网络结构中的全连接层替换为LSTM记忆单元,控制样本信息的记忆和遗忘程度,优先学习奖励值高的样本,从而更快地累积奖励优化模型.在此基础上,加入虚拟目标点,通过雷达传感器收集的环境信息判断机器人陷入死锁区域时弃用目标点给予机器人的引导,使机器人走出陷阱区域并趋向目标点,减少在死锁区域不必要的训练.分别在特殊障碍物场景和混合障碍物场景中对LSTM-PPO算法进行仿真验证,结果表明,与传统PPO算法和改进算法SDAS-PPO相比,该算法在两种场景训练中均能最快到达奖励峰值,可加快模型收敛速度,减少冗余路段,优化路径平滑度并缩短路径长度.

关键词：机器人、局部路径规划、长短期记忆神经网络、近端策略优化算法、虚拟目标点

所属期刊栏目：49

分类号：TP273(自动化技术及设备)

资助基金：国家自然科学基金;国家自然科学基金

在线出版日期：2023-02-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：119-126,135