Hadoop任务分配策略的改进

摘要：

Hadoop广泛应用于大数据的并行处理,其现有的任务分配策略多面向同构环境,或者没有充分利用集群的全局信息,或者在异构环境下无法兼顾执行效率与算法复杂度.针对这些问题,提出异构环境下的任务分配算法λ-Flow算法,将原先一次完成的任务分配过程划分成多轮,每轮基于当前集群状态,以及上轮任务的执行情况,动态进行任务分配,直至全部任务分配结束,以期达到最优执行效率.通过与其他算法对比实验表明,λ-Flow算法能够更好地适应集群的动态变化,有效减少作业执行时间.

关键词：Hadoop、MapReduce、任务分配、异构环境、最小费用最大流

所属期刊栏目：33

分类号：TP301.6;TP393.027.2(计算技术、计算机技术)

资助基金：中央高校基本科研业务费专项资金资助项目WK2100100012

在线出版日期：2013-10-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：2158-2162