10.13873/J.1000-9787(2017)02-0134-04
Hadoop平台下改进的推测任务调度算法
研究对比Hadoop平台下默认的推测任务调度算法和异构环境下LATE调度算法的优势和不足,提出了一种基于Hadoop集群的改进的推测任务调度算法.该算法以节点历史信息对Reduce任务各阶段比例进行动态调整和更新,并对任务实时处理速率进行局部平滑处理来提高预估任务剩余完成时间的准确性,最后采用MCP模型对备份任务有效性进行验证.通过实验结果分析可知:该算法能够有效提升备份任务成功率,减少作业完成时间.
MapReduce、异构环境、推测执行、LATE
36
TP393(计算技术、计算机技术)
国家自然科学基金资助项目61272029
2017-04-21(万方平台首次上网日期,不代表论文的发表时间)
共4页
134-137