Hadoop MapReduce短作业执行性能优化

摘要：

Hadoop MapReduce并行计算框架被广泛应用于大规模数据并行处理.近年来,由于其能较好地处理大规模数据,Hadoop MapReduce也被越来越多地使用在查询应用中.为了能够处理大规模数据集,Hadoop的基本设计更多地强调了数据的高吞吐率.然而在处理对短作业响应性能有较高要求的查询应用时,Hadoop MapReduce并行计算框架存在明显不足.为了提升Hadoop对于短作业的执行效率,对原有的Hadoop MapReduce作出以下3点优化:1)通过优化原有的setup和cleanup任务的执行方式,成功地缩短了作业初始化环境准备和作业结束环境清理的时间;2)将首次任务分配从“拉”模式转变为“推”模式;3)将作业执行过程中JobTracker和TaskTrackers之间的控制消息通信从现有的周期性心跳机制中分离出来,采用即时传递机制.最后,采用一种典型的基于MapReduce并行化的查询应用BLAST,对优化工作进行了评估.各种不同类型BLAST作业的测试实验表明,与现有的标准Hadoop相比,优化后的Hadoop平均执行性能提升约23％.

关键词：MapReduce、并行计算、短作业、性能优化、大数据处理

所属期刊栏目：51

分类号：TP302(计算技术、计算机技术)

资助基金：国家自然科学基金专项基金项目61223003;国家“八六三”高技术研究发展计划基金项目2011AA01A202;美国Intel Labs大学研究资助项目

在线出版日期：2014-08-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：1270-1280