ENLHS:一种基于抽样的Kafka自适应调优方法

摘要：

Kafka应用在生产环境中时,除机器的硬件环境和系统平台影响其性能外,Kafka自身的配置项决定着其能否在硬件资源有限的情况下达到理想的性能,但人为修改和调优配置项的效率极差.海量数据发送到Kafka后,如果不针对实际资源环境进行调优,Kafka使用默认的配置参数无法保证其在每个生产环境下的性能.因为Kafka自身的配置项非常大,传统的自适应算法在大规模生产系统中的性能较差.为了提高Kafka的自适应能力,消除系统中的复杂性,获得更好的运行性能,提出一种针对Kafka的自适应性能调优方法.该方法充分考虑了Kafka特征参数与性能的影响权值,并使用抽样的原理来提高数据集的生成效率并优化数据选取范围,提高建模的效率并降低优化方法的复杂度.实验结果显示,该算法对开源版本Kafka的吞吐率和时延进行了优化,提高了Kafka在给定的系统资源下的吞吐性能,并降低了时延.

关键词：Kafka、消息队列、性能调优、拉丁超立方抽样、弹性网络

所属期刊栏目：47

分类号：TP311.5(计算技术、计算机技术)

资助基金：国家重点研发计划项目;国家自然科学基金;江苏省科技支撑计划项目;江苏省高等学校自然科学研究重大项目;江苏省六大人才高峰高层次人才项目

在线出版日期：2020-08-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：119-126