异构Spark集群数据倾斜修正调度策略

摘要：

异构Spark集群存在木桶效应,不合理的并行度导致任务分配与工作节点计算能力的适配性较差,进而影响集群计算效率和资源利用率.针对这一问题,首先建立模型,分析数据分布、并行度参数和节点任务分配的耦合关系,提出算法的优化目标,设计异构Spark集群的数据倾斜修正调度策略DSCS,包括并行度预估算法、数据倾斜修正算法和异构节点任务分配算法.预估算法对并行度进行先期设定,数据倾斜修正算法根据首个计算阶段的统计信息进行数据重新划分和并行度修正,由异构节点任务分配算法对集群不同计算能力的工作节点进行合理的任务分配,从而提高数据计算量与节点计算能力的适配性,优化Spark集群的整体性能.实验结果表明:在不同作业类型、不同数据集条件下,算法均取得了一定的性能提升,并能有效减少工作节点外存溢写的概率.

关键词：Spark、并行调度、数据分配、异构集群、数据倾斜

所属期刊栏目：44

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;广州市哲学社会科学规划项目

在线出版日期：2022-04-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：620-630