MapReduce平台上面向倾斜数据连接的负载平衡方法

摘要：

由于传统倾斜数据的连接负载平衡方法设置的负载布局位置不佳,导致对负载偏移的控制效果差,因此针对MapReduce平台上的倾斜数据,提出连接负载的新式平衡方法.优化设置MapReduce系统前端分发器和末端服务器,根据泊松流设置任务分配控制条件;提取倾斜数据特征,利用评价函数设置平衡约束指标;计算信息熵控制负载偏移量,使用平衡布局概率得出布局最优位置.实验结果表明,所提出负载平衡方法的负载偏移量比传统方法的测试结果低,证明该方法对负载偏移量的控制效果更好,符合现阶段的平衡控制要求.

关键词：倾斜数据、负载平衡、MapReduce平台、任务分配、特征提取、负载偏移控制、评价函数

所属期刊栏目：44

分类号：TN919-34;TP391.9

资助基金：国家自然科学基金青年项目61703267

在线出版日期：2021-01-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：65-68