基于深度强化学习的自动驾驶车辆跟驰行为建模

摘要：

为提高自动驾驶车辆的跟驰性能,减轻交通震荡干扰的负面影响,研究了1种基于深度强化学习的自动驾驶跟驰模型.在现有奖励函数设计基础上融入对能源消耗的考虑,基于VT-Micro模型构建能耗相关项;同时对使用跟车时距构建行驶效率因素相关项的方法进行优化,添加虚拟速度来避免在交通震荡场景中出现计算溢出和车间距过近的问题.为克服过往抑制震荡研究中仅用闭合环状模拟道路和仿真车辆轨迹开展训练的局限性,选用NGSIM轨迹数据中交通震荡阶段的驾驶员行为特征搭建训练环境,应用双延迟深度确定性策略梯度算法(Twin Delayed Deep Deterministic Policy Gradient Algorithm,TD3)训练形成多目标优化的跟驰模型.进一步构建模型性能测试评价体系,对比分析TD3模型与其他传统模型在跟车与交通震荡2类测试场景中的表现.跟车测试场景实验结果表明:在舒适度与行驶效率上,TD3模型和传统自适应巡航控制(Adaptive Cruise Control,ACC)模型表现相近,二者均优于人类驾驶员;在安全性上,TD3模型相较于传统ACC模型安全隐患降低53.65％,相较于人类驾驶员降低36.24％;在能源消耗上,TD3模型相较于传统ACC模型和人类驾驶员分别降低6.73％和15.65％.交通震荡场景实验结果表明:TD3模型可以有效减少交通振荡的负面影响;当TD3模型渗透率为100％时,相较于纯人类驾驶环境,行驶过程中的不适性降低55.95％,行驶效率提高8.82％,安全隐患降低73.21％,油耗减少5.97％.

关键词：智能交通、自动驾驶、强化学习、跟驰模型、交通震荡

所属期刊栏目：41

分类号：U491.2+5(交通工程与公路运输技术管理)

资助基金：国家自然科学基金;国家社会科学基金;北京市社会科学基金项目

在线出版日期：2023-06-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：67-75,102