一种优化的Kafka消费者/客户端负载均衡算法

摘要：

Kafka是一款高吞吐的分布式消息系统,在海量数据处理等多个领域被广泛使用.但现有Kafka消费者/客户端负载均衡算法存在一些不足,在处理海量数据时易产生过高开销甚至出错等问题.提出了一种优化的Kafka消费者/客户端负载均衡算法,负载均衡过程完全由作为管理者的消费者控制,其余消费者不必单独进行负载均衡,而且管理者不用重新分配每个消费者消费的分区.系统对所有消费者的运行状况进行监控,出现宕机的消费者后可及时进行负载再均衡.测试结果说明该算法能够减少Kafka消费者/客户端在负载均衡过程中的系统开销,并避免出现错误的负载均衡结果,可以有效地保障分布科学数据处理的正确性.

关键词：分布式消息系统、发布订阅模式、Kafka、负载均衡、系统开销、可靠性

所属期刊栏目：34

分类号：TP301.6(计算技术、计算机技术)

资助基金：国家基金天文联合基金重点项目U1231205;云南省应用基础基金重点项目2014FA013,2013FA032

在线出版日期：2017-08-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：2306-2309