异构资源环境下的MapReduce性能优化

摘要：

针对现有Hadoop难以适应异构资源环境的不足,提出一种自适应MapReduce调度器:CloudMR.基于数据局部性,CloudMR将同一机架内的<key,value>对进行本地归约合并,减少中间结果中<key,value>对的数目,从而减少机架间的数据传送.根据资源性能和任务特征,CloudMR动态确定节点任务槽数和数据分配量.对于计算性能高的节点,CloudMR分配较多的任务和数据量,而对于计算性能低的节点,相应地减轻任务和数据量负载.实验表明,在异构环境下,较之现有Hadoop,CloudMR减少了节点间数据传输和备份任务运行,缩短了作业完成时间.

关键词：云计算、异构资源、MapReduce、Hadoop

所属期刊栏目：34

分类号：TP309(计算技术、计算机技术)

资助基金：国家"九七三"重点基础研究发展计划项目2007CB310900;国家"八六三"高技术研究发展计划项目2006AA01A115

在线出版日期：2013-05-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：287-292