Hadoop环境下基于数据本地化的Reduce任务调度策略

摘要：

在MapReduce模型任务处理过程中,当Reduce任务开始执行,远程拉取Map阶段的输出数据时,会消耗大量的网络带宽,甚至会出现网络瓶颈问题.本文提出基于数据本地化和负载均衡的任务分配策略.该策略中用户首先设置采样数据量M,在Map阶段对前M个数据块进行采样;其次根据采样结果,同时考虑数据本地化因素,将Reduce任务进行分配;然后基于负载均衡将Reduce任务进行再分配,通过任务分配,系统生成一个任务分配表;最后启动Reduce任务,系统开始数据拉取,未被采样的数据根据任务分配表进行任务分配.通过大量实验验证,基于数据本地化和负载均衡的任务分配策略,既能减少Shuffle阶段数据的传输量,又能降低网络带宽的消耗,同时可以避免出现某些节点空闲而其它节点任务量大甚至处理不了的情况,从而提高了集群处理数据的整体能力.

关键词：采样、MapReduce、本地化、任务分配、负载均衡

分类号：TP311(计算技术、计算机技术)

资助基金：重庆市科技计划项目cstc2013jcsf10034

在线出版日期：2016-05-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：114-120