Hadoop平台下的动态调度算法

摘要：

目前,云计算环境具有动态、异构和海量多类型任务并发等特征,随着集群规模不断增大、用户QoS不断增多,现有调度算法越来越难以适应动态变化的环境及满足用户的需求.针对Hadoop平台下现有调度器不能根据作业运行状态和资源使用情况进行动态调整的问题,提出了Hadoop下基于作业分类的动态调度算法.该算法在使用朴素贝叶斯分类算法对队列中作业进行分类的过程中,根据各个作业的类型,预先设定类别权值,将队列中的作业分类,并引入效用函数,根据用户提交时的预期完成时间QoS和作业完成情况估算其作业完成时间,实现动态设置作业优先级.实验表明,使用提出的算法不仅能有效减少作业的分类时间,而且能明显提高动态性和用户QoS.

关键词：人机交互、Hadoop、动态调度、贝叶斯网络、QoS

所属期刊栏目：42

分类号：TP39(计算技术、计算机技术)

资助基金：国家自然科学基金61202163,61240035;山西省自然科学基金2012011015-1;山西省科技攻关项目20120313032-3

在线出版日期：2015-10-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：45-49,69