一种Hadoop中基于作业类别和截止时间的调度算法

摘要：

Hadoop是一种开源可靠的分布式计算框架,而MapReduce是处理超大规模数据集的编程模型.鉴于Ha-doop内置的调度器不能很好地处理类别不同且有截止时间的作业的调度,提出了一种基于作业类别和截止时间的作业调度算法.作业分为CPU密集型和I/O密集型,并根据截止时间设置优先级来实现作业的调度.实验结果表明,该算法在充分利用集群的CPU和磁盘I/O的同时,能满足作业的截止期需求,当同一时间段内截止时间相近时算法达到最优,当某一队列中作业截止时间均比另一种队列短时,算法效率最低.

关键词：调度算法、截止时间、作业类别、MapReduce、Hadoop

所属期刊栏目：42

分类号：TP399(计算技术、计算机技术)

资助基金：国家自然科学基金61202043,61175047

在线出版日期：2015-07-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：28-31,45