基于Spark的分布式机器人强化学习训练框架

摘要：

强化学习能够通过自主学习的方式对机器人难以利用控制方法实现的各种任务进行训练完成,有效避免了系统设计人员对系统建模或制定规则.然而,强化学习在机器人开发应用领域中训练成本高昂,需要花费大量时间成本、硬件成本实现学习训练,虽然基于仿真可以一定程度减少硬件成本,但对类似Gazebo这样的复杂机器人训练平台,仿真过程工作效率低,数据采样耗时长.为了有效解决这些问题,针对机器人仿真过程的平台易用性、兼容性等方面进行优化,提出一种基于Spark的分布式强化学习框架,为强化学习的训练与机器人仿真采样提供分布式支持,具有高兼容性、健壮性的特性.通过实验数据分析对比,表明本系统框架不仅可有效提高机器人的强化学习模型训练速度,缩短训练时间花费,且有助于节约硬件成本.

关键词：机器人、强化学习、Spark、分布式、数据管道

所属期刊栏目：40

分类号：TP242(自动化技术及设备)

资助基金：浙江大学工业控制技术国家重点实验室开放课题项目ICT1800413;重庆市发改委重大产业技术研发项目2018148208;重庆市教委科技项目KJ1601129;安徽省高校自然科学研究重点项目KJ2018A0713;安徽高校优秀青年骨干人才国内访问研修项目gxgnfx2018108;广东省重点领域研发计划项目2019B010120001

在线出版日期：2019-11-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：852-857