基于任务进度感知的异构Hadoop云平台任务调度方案

摘要：

针对异构Hadoop云计算平台中任务调度问题进行了研究,并分析了现有推测执行调度和LATE调度方案的缺陷,提出一种基于任务进度感知的自适应任务调度方案.首先,根据当前计算节点上的任务进度情况,估计任务近似完成时间(ATE),以此确定掉队者(straggler)任务;然后,以平均节点任务进度的25％为阈值,将节点分为慢节点和快节点.当straggler后备任务达到一定阈值时,将其优先分配到快节点中执行.实验结果表明,提出的方案能够为异构Hadoop平台合理分配任务,有效降低了任务完成时间和响应延迟,同时提高了平台吞吐量.

关键词：Hadoop云平台、任务调度、任务进度感知、掉队者任务、节点分类

所属期刊栏目：34

分类号：TP393.07(计算技术、计算机技术)

资助基金：重庆市教委科学技术研究项目KJ1502003;重庆市本科高校“三特行动计划”特殊专业建设项目渝教高201349号

在线出版日期：2017-12-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：3139-3143