一种基于交互式的Hadoop作业调度算法

摘要：

Hadoop平台中作业调度是一个重要环节。 FIFO是Hadoop默认的调度算法,简单易实现且应用广泛,但其在数据的本地化( data locality)这一特性上考虑不足,会引起网络的负载量增大,任务的等待执行时间长,计算资源得不到充分利用等一系列弊端；同时Map阶段和Reduce阶段资源槽的静态职能形式也更一步加深了这种缺陷。针对这些缺陷,从数据的本地性、任务分配的角度出发,提出了一种基于主从节点间交互的作业调度算法( Interactive Scheduler,IS)。该算法是对FIFO的一种改进,同时也使不同资源槽之间可以动态转换,提高了资源的使用率。通过实验对比,结果表明IS调度算法对Hadoop平台的作业调度效率有显著的提升。

关键词：Hadoop、MapReduce、交互式、slots资源槽、IS调度

所属期刊栏目：26

分类号：TP393(计算技术、计算机技术)

资助基金：国家发改委高科技产业化项目发改高技[2009]1365号

在线出版日期：2016-12-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：45-48,53