基于任务时间的Reduce任务调度

摘要：

为提高小作业的执行效率及系统资源利用率，分析M apReduce各个阶段的执行过程，提出一种基于任务时间的任务调度算法。针对现有的Reduce任务分配算法的不足，综合考虑Map任务执行的剩余时间及Reduce任务shuffle和sort阶段所需时间两个因素，对等待队列中的作业进行重排序，依次调度队列中作业的Reduce任务。实验结果表明，该算法有效提高了小作业的执行效率及系统的资源利用率。

关键词：分布式计算、小作业、任务分配、剩余时间、资源利用率

所属期刊栏目：37

分类号：TP338.8(计算技术、计算机技术)

资助基金：国家自然科学基金项目61233003

在线出版日期：2016-04-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：675-678,756