10.3969/j.issn.1001-3695.2018.09.002
实时流处理系统Storm的调度优化综述
随着大数据技术的发展,相对于Hadoop等传统的批处理系统,流式处理系统具有更好的实时性特点.在已有的流式处理系统中,Storm系统具有良好的稳定性、高可扩展性以及高容错性等优点,使它在流式数据处理系统中脱颖而出.但是在任务调度方面,Storm系统并没有做过多的考虑,默认采用相对简单的轮询调度法,导致系统在性能上存在瓶颈.近年来针对Storm系统的调度问题,研究提出了各种优化方案.从实时流处理系统Storm的调度优化出发,将这些优化方法分为四类,并详细阐述各类中具有一定代表性的方法,分析其优缺点以及适用的场景.最后,讨论了在日益发展的新环境下,Storm系统的调度优化相关研究未来可能存在的方向.
流式数据处理、Apache Storm、性能优化、调度
35
TP301.6(计算技术、计算机技术)
国家自然科学基金资助项目61501075
2018-12-05(万方平台首次上网日期,不代表论文的发表时间)
共7页
2567-2573