广播机制解决Shuffle过程数据倾斜的方法

摘要：

在Spark计算平台中,数据倾斜往往导致某些节点承受更大的网络流量和计算压力,给集群的CPU、内存、磁盘和流量带来了巨大的负担,影响整个集群的计算性能.本文通过对Spark Shuffle设计和算法实现的研究,深入分析在大规模分布式环境下发生数据倾斜的本质原因.提出了广播机制避免Shuffle过程数据倾斜的方法,分析了广播变量分发逻辑过程,给出广播变量性能优势分析和该方法的算法实现.通过Broadcast Join实验验证了该方法在性能上有稳定的提升.

关键词：数据倾斜、分区策略、洗牌算法、广播机制

所属期刊栏目：28

在线出版日期：2019-06-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：189-197