基于Hadoop的MapReduce模型的研究与改进

摘要：

针对MapReduce模型中存在的多个Reduce任务之间完成时间差别较大的问题,分析了影响Reduce任务完成时间的因素,指出了MapReduce模型中Reduce任务节点存在数据倾斜问题,提出了一种改进型的MapReduce模型MBR (Map-Balance-Reduce)模型.通过添加Balance任务,对Map任务处理完成的中间数据进行均衡操作,使得分配到Reduce 任务节点的数据比较均衡,从而确保Reduce任务的完成时间基本一致.仿真实验结果表明,经过Balance任务后,Map任务产生的中间数据能够比较均衡的分配给Reduce任务节点,达到数据计算均衡的目的,在一定程度上减少了整个作业的执行时间.

关键词：MapReduce模型、Hadoop、数据倾斜、云计算、并行编程

所属期刊栏目：33

分类号：TP303(计算技术、计算机技术)

在线出版日期：2012-11-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：3110-3116