基于匹配规则的MapReduce任务调度模型

摘要：

基于开源云计算平台Hadoop的MapReduce是当前流行的分布式计算框架之一,然而其先进先出(FIFO)调度算法存在资源利用效率低下的问题.提出了一种基于资源匹配规则的MapReduce任务调度模型并进行了算法实现.该调度模型通过获取任务的资源需求与计算节点的剩余资源,依据资源的匹配性进行任务分配,提高了系统的资源使用效率.首先对MapReduce的调度过程进行建模,提出了资源及匹配度的量化定义和相应的计算公式;然后给出了资源测量的具体方法及算法实现;最后利用TeraSort、GrepCount和WordCount任务与FIFO调度算法进行实验对比,实验结果显示,最好的情况下,提出的调度模型任务完成时间减少了22.19％,而最差情况下的吞吐量也提高了25.39％.

关键词：云计算、调度算法、Hadoop、MapReduce、先进先出

所属期刊栏目：34

分类号：TP302.1(计算技术、计算机技术)

资助基金：国家自然科学基金项目资助项目61170135

在线出版日期：2014-05-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：1010-1013,1018