基于异构Hadoop集群的负载均衡策略研究

摘要：

异构Hadoop环境中,每个节点的处理能力各不相同,且集群中的节点会不断增加和删除,随着作业量的增大,负载倾斜会越来越明显.显然,负载均衡也成为影响Hadoop集群性能的重要因素之一.针对异构Hadoop环境中MapReduce任务调度,提出了一种新的负载均衡算法.该算法充分利用节点性能和当前的计算资源,根据集群负载平衡度量值进行任务分配,将任务分配给适合的节点,使集群负载逐渐趋于平衡,以提高集群节点利用率.由于Hadoop集群中各节点通过网络连接,以节省网络传输代价,因此在负载均衡调度时,根据数据分布特点,优先考虑数据的本地性,以缩短任务执行时间.仿真实验结果表明,所提出的负载均衡算法能明显改善系统性能,有效缩短MapReduce作业执行时间.

关键词：Hadoop集群、MapReduce、节点性能、任务调度、负载均衡

所属期刊栏目：27

分类号：TP301.6(计算技术、计算机技术)

资助基金：江苏省自然科学基金项目BK20130882

在线出版日期：2017-07-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：110-113