基于多变量动态算法的Hadoop负载均衡优化与实现

摘要：

分析了云计算平台Hadoop负载均衡机制,针对Hadoop系统自带的均衡器要预先输入阈值才能运行的不足,通过多变量动态估计阈值对其进行优化与实现,依据集群磁盘空间负载情况和集群繁忙程度,动态估计均衡器的阈值,并给出了与估计阈值相关的计算公式,在此基础上采用集群系统对上述算法进行了测试验证.实验结果表明,对比Hadoop系统自带的需要固定阈值的均衡器,新方法能在均衡过程中利用系统相关信息动态估计阈值,对Hadoop的负载均衡优化取得更加令人满意的效果.

关键词：云计算、Hadoop分布式文件系统、负载均衡、阈值

所属期刊栏目：28

分类号：TN9;TP3

资助基金：国家自然科学基金资助项目61070015;广东省科技计划基金资助项目2011B010200039,2010B090400436;广州市科技计划基金资助项目11C42080722

在线出版日期：2013-05-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：83-87