10.3969/j.issn.1000-7024.2012.08.040
基于Hadoop的MapReduce模型的研究与改进
针对MapReduce模型中存在的多个Reduce任务之间完成时间差别较大的问题,分析了影响Reduce任务完成时间的因素,指出了MapReduce模型中Reduce任务节点存在数据倾斜问题,提出了一种改进型的MapReduce模型MBR (Map-Balance-Reduce)模型.通过添加Balance任务,对Map任务处理完成的中间数据进行均衡操作,使得分配到Reduce 任务节点的数据比较均衡,从而确保Reduce任务的完成时间基本一致.仿真实验结果表明,经过Balance任务后,Map任务产生的中间数据能够比较均衡的分配给Reduce任务节点,达到数据计算均衡的目的,在一定程度上减少了整个作业的执行时间.
MapReduce模型、Hadoop、数据倾斜、云计算、并行编程
33
TP303(计算技术、计算机技术)
2012-11-26(万方平台首次上网日期,不代表论文的发表时间)
共7页
3110-3116