基于YARN的分布式资源动态调度与协同分配系统

摘要：

Storm on YARN是目前主流的分布式资源调度框架,但其存在需要人工干预和无法根据资源可用性实时调整系统资源的不足.根据流数据处理的实时延迟计算系统负载情况,在Storm平台上基于YARN设计分布式资源调度和协同分配系统.建立包含系统层和任务层的双层调度模型,系统层通过对流数据处理负载的实时监测进行资源分配预测,任务层利用ZooKeeper和YARN对集群资源的高效管理能力进行动态资源管理.实验结果表明,该系统可以实时调整集群资源分布,有效减小系统延迟.

关键词：分布式集群、动态调度、协同分配、流数据处理、资源分配

所属期刊栏目：47

分类号：TP315(计算技术、计算机技术)

资助基金：国家自然科学基金;NSFC-广东联合基金;广东省自然科学基金;广东特支计划;广州市珠江科技新星专项;广州市科技计划项目

在线出版日期：2021-02-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：226-232