非均匀数据分布下的MapReduce连接查询算法优化

摘要：

MapReduce分布式计算框架有助于提升大规模数据连接查询的效率,但当连接属性分布不均匀时,其简单的散列策略容易导致计算节点间负载不均衡,影响作业的整体性能.针对连接查询操作中的数据倾斜问题,研究了MapReduce框架下大规模数据连接查询操作的优化算法.首先对经典的改进重分区连接查询算法进行实验分析,研究了传统MapReduce计算框架下连接查询操作的执行流程,找出了基于MapReduce计算框架的连接查询算法在数据分布不均匀时的性能瓶颈;进而提出了组合分割平衡分区优化策略,设计并实现了基于组合分割平衡分区优化策略的改进型连接查询算法.实验结果表明,提出的优化策略在大规模数据的连接查询处理上很好地解决了数据倾斜带来的性能影响,具有好的时间性能和可扩展性.

关键词：连接查询、MapReduce、数据倾斜

所属期刊栏目：11

分类号：TP311.130(计算技术、计算机技术)

资助基金：The National Natural Science Foundation of China under Grant Nos.U1501252,61363005,61462017;the Natural Science Foundation of Guangxi under Grant Nos.2014GXNSFAA118353,2014GXNSFAA118390,2014GXNSFDA118036;the High Level Innovation Team of Colleges and Universities in Guangxi and Outstanding Scholars Program Funding;the Program of Guangxi Cooperative Innovation Center of Cloud Computing and Big Data;the Guangxi Cooperative Innovation Center of IOT and Industrialization

在线出版日期：2017-07-05（万方平台首次上网日期，不代表论文的发表时间）

页数：共16页

页码：752-767