基于Storm拓扑结构热边的调度算法

摘要：

Storm分布式实时计算系统采用轮询调度算法达到任务均衡分配的目的,但Storm默认调度算法未考虑计算节点间的网络通信开销,可能造成topology处理时延高、集群吞吐量低等问题.为此,引入Storm topology热边的概念,通过减少网络传输的tuple数量,将热边关联的源executor和目标executor调度到同一工作节点执行,提升Storm集群的计算性能.实验结果表明,该调度算法能够有效降低Storm处理时延及集群节点间的通信量,提高系统吞吐量,并且有利于集群的负载均衡.

关键词：实时计算、拓扑结构热边、调度算法、负载均衡、网络通信

所属期刊栏目：43

分类号：TP311(计算技术、计算机技术)

资助基金：重庆市教委科学技术研究项目KJ1400414;重庆邮电大学博士启动基金A2015-17;重庆邮电大学自然科学基金A2011-29

在线出版日期：2017-08-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：37-42