基于ORC元数据的Hive Join查询Reducer负载均衡方法

摘要：

负载不均衡问题位列影响大规模MapReduce集群性能因素的首位,而 Hive join查询非常容易触发该问题.通用解决方案是基于中间键值对的key频率分布设计能够实现负载均衡的key划分算法.现有工作估算key频率分布时依赖于对map的输出进行监控采样,使得通信开销较大并显著延后了shuffle的启动.针对 Hive join查询,提出了基于ORC元数据的key频率分布估计方法和相应的负载均衡key划分方法.该方法具有计算量小、通信开销小、不影响现有shuffle机制的优点.通过基准测试证明了该方法在key频率分布估算效率上的巨大提升及相应的key划分方法对Hive join查询性能的提升.

关键词：负载均衡、MapReduce、Hive、Join、Reducer、ORC

所属期刊栏目：45

分类号：TP391(计算技术、计算机技术)

资助基金：国家重点研发计划项目:科学大数据管理系统2016YFB1000600;协同精密定位技术2016YFB0501900

在线出版日期：2018-04-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：158-164