基于深度确定性策略梯度的队列纵向协同控制策略

摘要：

为了解决车辆队列控制中的车辆连续精确控制问题和行驶过程中车辆队列纵向稳定性问题,提出了 一种在中等速度环境下基于深度强化学习(deep reinforcement learning,DRL)的车辆队列纵向控制策略.该策略充分考虑了影响队列安全的车辆距离、车辆速度和车辆加速度3个关键影响因素,并将车辆动力学和舒适性作为策略学习过程中的约束条件.首先,建立基于强化学习的车辆队列纵向控制模型.其次,提出一个深度强化学习过程来进行队列纵向控制策略的迭代,最终目标为获得车辆的最优控制策略;并且设计了一个多 目标的奖励函数,该函数综合了距离误差、速度误差和加速度约束对应的奖励.最后,采用深度确定性策略梯度(deep deterministic policy gra-dient,DDPG)求解队列纵向控制问题,该算法将动作-评价(actor-critic,AC)网络的优点与深度Q网络(deep Q-network,DQN)的优点相结合,有效解决连续状态空间和连续动作空间上的车辆队列控制问题;并设计和训练了基于DDPG的队列控制模型用于队列纵向控制,验证该控制策略的有效性.结果表明:提出的基于强化学习的队列控制方法具有和分布式模型预测控制算法相当的控制精度,并能在"前车-领航车跟随"通信拓扑下实现队列的串稳定性.

关键词：交通工程;深度强化学习;队列纵向控制;深度确定性策略梯度;队列稳定性

所属期刊栏目：41

分类号：U491.15(交通工程与公路运输技术管理)

资助基金：国家自然科学基金项目;陕西省重点研发计划项目;浙江省重点研发计划项目;"车联网"教育部-中国移动联合实验室基金项目

在线出版日期：2021-09-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：90-100