基于Hadoop的MapReduce模型的研究与改进
万方数据知识服务平台
应用市场
我的应用
会员HOT
万方期刊
×

点击收藏,不怕下次找不到~

@万方数据
会员HOT

期刊专题

10.3969/j.issn.1000-7024.2012.08.040

基于Hadoop的MapReduce模型的研究与改进

引用
针对MapReduce模型中存在的多个Reduce任务之间完成时间差别较大的问题,分析了影响Reduce任务完成时间的因素,指出了MapReduce模型中Reduce任务节点存在数据倾斜问题,提出了一种改进型的MapReduce模型MBR (Map-Balance-Reduce)模型.通过添加Balance任务,对Map任务处理完成的中间数据进行均衡操作,使得分配到Reduce 任务节点的数据比较均衡,从而确保Reduce任务的完成时间基本一致.仿真实验结果表明,经过Balance任务后,Map任务产生的中间数据能够比较均衡的分配给Reduce任务节点,达到数据计算均衡的目的,在一定程度上减少了整个作业的执行时间.

MapReduce模型、Hadoop、数据倾斜、云计算、并行编程

33

TP303(计算技术、计算机技术)

2012-11-26(万方平台首次上网日期,不代表论文的发表时间)

共7页

3110-3116

相关文献
评论
暂无封面信息
查看本期封面目录

计算机工程与设计

1000-7024

11-1775/TP

33

2012,33(8)

相关作者
相关机构

专业内容知识聚合服务平台

国家重点研发计划“现代服务业共性关键技术研发及应用示范”重点专项“4.8专业内容知识聚合服务技术研发与创新服务示范”

国家重点研发计划资助 课题编号:2019YFB1406304
National Key R&D Program of China Grant No. 2019YFB1406304

©天津万方数据有限公司 津ICP备20003920号-1

信息网络传播视听节目许可证 许可证号:0108284

网络出版服务许可证:(总)网出证(京)字096号

违法和不良信息举报电话:4000115888    举报邮箱:problem@wanfangdata.com.cn

举报专区:https://www.12377.cn/

客服邮箱:op@wanfangdata.com.cn