Storm流式计算框架反压机制研究

摘要：

Storm集群提供了强大的实时处理能力,Storm上下游处理节点由于任务差异而导致数据流元组Tuple处理超时从而影响系统吞吐量及其性能.针对该问题,提出了一种能够灵活调节Topology中各环节数据负载的反压机制,该机制采用可变队列,并根据当前Tuple负载动态调整队列大小,以适应数据负载的动态变化,并提升系统吞吐量.实验结果表明,该反压机制能够避免反压过程中出现数据流的震荡,同时提高系统性能和稳定性.

关键词：Storm集群、反压机制、可变队列、数据负载、吞吐量

所属期刊栏目：54

分类号：TP311.1(计算技术、计算机技术)

资助基金：重庆邮电大学博士启动基金A2015-17

在线出版日期：2018-01-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：102-106,139