基于两阶分区的MapReduce实验室系统负载均衡研究

摘要：

在实验室系统处理海量原始数据时,实际应用场景中存在采样率高、偏度(skewness)高的特殊情况,导致在使用两阶分区算法在平衡同构环境下的Reducer节点负载时,无法有效地处理这些问题,为此,引入MapReduce的并行化处理,可以提高实验室系统中采样数据利用率;同时,为了解决数据偏度和采样度高的问题,则采用了 ICSC分区调度的算法;经过实验证明,基于两阶分区的MapReduce负载均衡算法能够有效减少Mapper和Reducer节点空转的时间;随着数据偏度的增加,算法的执行时长基本不产生变化,即数据偏度对该算法执行时间的影响较小,此外,数据采样度的增加,ICSC分区调度算法也保持着对比模型中最少的时间开销;因此,基于两阶分区的MapReduce负载均衡算法弱化了 Reducer节点间的依赖性,并提升MapReduce任务的执行效率和容错率,从而高效地实现MapReduce框架下的实验室系统中数据处理的负载均衡.

关键词：两阶分区、MapReduce、分区调度、负载均衡、实验室系统

所属期刊栏目：31

分类号：TP301.6(计算技术、计算机技术)

资助基金：国家重点研发计划;海关总署课题

在线出版日期：2023-05-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：252-257