一种Hadoop YARN的资源调度机制

摘要：

YARN是Hadoop中广泛应用的资源管理系统,支持MapReduce,Spark,Storm等多种计算框架,已成为大数据生态中的核心组件.然而,在Hadoop YARN现有的资源调度器中,采用基于资源预留的资源保障机制,会产生资源碎片,导致资源浪费.为提高集群的资源利用率和吞吐量,本文提出一种基于预约回填的资源分配机制.在该机制中,基于作业的优先级来决定是否对资源进行预约,并引入回填策略,在不影响预约作业执行的情况下,对资源进行回填使用.实验表明,使用基于预约回填的资源调度机制能够有效提高Hadoop YARN集群的资源利用率和吞吐量.

关键词：Hadoop YARN、大数据、资源调度、预约回填

分类号：TP302(计算技术、计算机技术)

在线出版日期：2017-12-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：29-34