Hadoop平台的多队列作业调度优化方法研究

摘要：

对Hadoop平台的作业调度算法进行了研究，提出了支持作业类型区分的多队列调度优化算法。优化算法支持根据节点当前的负载情况分配不同类型的作业，以提高节点的资源利用率；允许作业队列的资源在闲置时被其他作业队列占用；在原作业队列需要时可以被即时回收，即回收过程支持任务抢占；采用共享队列列表和非共享队列列表的逻辑划分来防止乒乓效应。Hadoop平台的性能测试结果表明，优化算法相比系统默认算法在作业调度的执行效率、执行平稳性等方面都有了显著的提升。

关键词：云计算、调度优化、性能分析

所属期刊栏目：31

分类号：TP312(计算技术、计算机技术)

资助基金：国家科技支撑计划;国家自然科学基金

在线出版日期：2014-05-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：705-707,738