Keepaway抢球任务中基于策略重用的迁移学习算法

摘要：

在RoboCup Keepaway中,球员使用强化学习能获得很好的高层策略.然而由于Keepaway任务的状态空间巨大,强化学习需要探索很多步才能收敛,学习过程十分耗时.针对这一问题,对于5v4规模的Keepaway任务,将策略重用技术应用于抢球球员高层决策的强化学习中,以实现迁移学习.首先合理设计了球员在4v3和5v4任务间的迁移学习方案及状态与动作空间的映射,然后提出了基于策略重用的迁移学习算法.实验表明,对于5v4任务,在训练时间约束下,迁移学习比强化学习获得了更短的任务完成时间和更高的抢断成功率,从而学习到了较优的高层策略.因此,为达到相同策略水平,迁移学习所需的训练时间明显比强化学习少.

关键词：机器人足球、Keepaway、抢球策略、策略重用、迁移学习

所属期刊栏目：42

分类号：TP242(自动化技术及设备)

资助基金：安徽省自然科学基金项目1408085MF132;安徽大学青年骨干教师培养02303301

在线出版日期：2015-05-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：190-193,225