基于累计工作量的在线大数据分析作业调度算法

摘要：

针对Hadoop和Spark等大数据分析系统中无先验知识任务的高效执行问题,设计了基于累计工作量(CRW)的任务调度器CRWScheduler.该调度器根据CRW将任务在低权重队列与高权重队列间切换;在为作业分配资源时,同时考虑到作业所在的队列和其瞬时占用资源量,无需作业先验知识即显著提升系统性能.基于Apache Hadoop YARN实现了CRWScheduler原型,在28个节点的基准测试集群上的实验表明,与YARN的公平调度机制相比,作业流时间(JFT)平均降低21％,其中95百分位的作业流时间(JFT)最多降低了35％,并且在与任务级调度程序协作时可获得进一步的性能提升.

关键词：数据分析系统、作业流时间、公平性、饥饿避免

所属期刊栏目：39

分类号：TP316.4(计算技术、计算机技术)

资助基金：国家自然科学基金项目61472181;江苏省自然科学基金项目BK20151392

在线出版日期：2019-09-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：2431-2437