基于布谷鸟算法的Storm集群动态负载均衡策略

摘要：

Storm作为开源的分布式实时计算框架在处理流式数据方面具有明显的优势,但其默认调度算法没有将节点资源与任务实际相结合,仍存在节点资源利用率不高等问题,在负载均衡方面存在较大提升空间.为此,提出了一种基于布谷鸟搜索算法的Storm集群动态负载均衡策略(dynamic load balancing strategy for storm cluster based on cuckoo search algorithm,DLBSCSA).该策略为达到集群节点负载的动态均衡,将任务调度模拟为布谷鸟寻窝产卵的过程,综合分析集群的CPU、网络带宽、内存等资源的实时利用情况,通过布谷鸟搜索算法的寻优过程自适应地确定节点性能权重,并根据权重动态分配任务.实验结果表明,该算法可以实现资源的合理分配,达到集群动态的负载均衡,从而减小集群响应时间,与默认算法相比具有更高的集群吞吐量和更小的系统延迟.

关键词：Storm、布谷鸟搜索算法、权重、动态负载均衡、实时

所属期刊栏目：29

分类号：TP183(自动化基础理论)

资助基金：江苏省产学研联合创新资金项目BY2013003-06

在线出版日期：2019-10-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：164-169,190