基于压力反馈的MapReduce负载均衡策略

摘要：

数据倾斜是严重影响MapReduce性能的因素之一.数据倾斜问题的现有解决方法需要用户对应用类型提供针对的分区函数,或是为MapReduce编写额外的采样过程,增加了用户的负担.为解决上述问题,提出了一种基于压力统计的负载均衡策略.该策略充分利用MapReduce中的混洗阶段,在reducer准备数据的同时进行统计,以获取全局数据分布.系统根据数据分布情况对负载较重节点进行调度,平衡整个集群负载,而无需用户提供额外的输入.此外,考虑到上层不同的应用类型,引入了压力反馈机制来进一步提高调度策略的性能.实验结果表明,提出的负载均衡调度策略的性能优于默认策略性能.

关键词：MapReduce、数据倾斜、负载均衡、压力反馈

所属期刊栏目：42

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金项目61373015,61300052,41301407;国家教育部高等学校博士学科点专项科研基金资助项目20103218110017;江苏高校优势学科建设工程项目;中央高校基本科研业务费专项项目NP2013307

在线出版日期：2015-05-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：141-146