一种Hadoop中基于改进遗传算法的作业调度算法

摘要：

Hadoop平台是一个分布式系统基础框架,用户可以在不了解底层细节的情况下,开发分布式程序,并且可以充分利用集群来高速运算和存储. Hadoop平台核心技术之一作业调度技术,主要职责就是控制作业执行的顺序以及计算资源的分配,这直接影响到Hadoop平台的整体性能和资源利用情况.文中基于遗传算法框架对作业调度问题进行了研究,提出了一种新的分段编码策略,在编码时将计算资源作为遗传操作的基本单元,以此为基础提出新的区域杂交算子和变异算子.实验证明,此算法是Hadoop平台下有效的作业调度算法.

关键词：Hadoop平台、作业调度、遗传算法

分类号：TP311(计算技术、计算机技术)

在线出版日期：2013-04-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：10-13