基于种群演化的超参数异步并行搜索

摘要：

近年来随着深度学习尤其是深度强化学习模型的不断增大,其训练成本即超参数的搜索空间也在不断变大,然而传统超参数搜索算法大部分是基于顺序执行训练,往往需要等待数周甚至数月才有可能找到较优的超参数配置.为解决深度强化学习超参数搜索时间长和难以找到较优超参数配置问题,提出一种新的超参数搜索算法—–基于种群演化的超参数异步并行搜索(PEHS).算法结合演化算法思想,利用固定资源预算异步并行搜索种群模型及其超参数,从而提高算法性能.设计实现在Ray并行分布式框架上运行的参数搜索算法,通过实验表明在并行框架上基于种群演化的超参数异步并行搜索的效果优于传统超参数搜索算法,且性能稳定.

关键词：超参数搜索、种群、演化算法、异步并行、深度学习、并行框架

所属期刊栏目：36

分类号：TP273(自动化技术及设备)

资助基金：国家自然科学基金项目;浙江省重点研发计划项目

在线出版日期：2021-08-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：1825-1833