面向云环境的Flink负载均衡策略

摘要：

作为新一代的大数据计算引擎,Flink得到了广泛应用.Flink在云环境下进行容器化部署时,其默认任务调度算法不能感知节点的资源信息,导致即时调整负载和自主均衡能力较差,而主流的容器编排工具虽然提供了管理容器的可能性,却也未能结合Flink特点解决平衡资源利用的同时降低容器组内的通信开销问题.针对以上问题开展研究,提出了一种面向云环境的Flink负载均衡策略FLBS,综合考虑了Flink集群中算子的分布特点和容器间通信机制,以节点间通信开销和均衡负载作为评估标准.实验结果表明,与Flink默认调度策略相比,FLBS能够有效提高计算效率,提升系统性能.

关键词：Flink、容器、通信开销、负载均衡、迁移

所属期刊栏目：44

分类号：TP391(计算技术、计算机技术)

资助基金：国家重点研发计划2018YFB1004402

在线出版日期：2022-06-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：779-787