Hadoop集群中给定候选任务集的最大利润问题

摘要：

随着计算机网络和传感器网络的迅速发展,数据呈指数级增长,特别是在因特网上.为了有效地处理大规模数据,需要具有良好的可伸缩性、灵活性和容错性的并行分布式集群.目前,许多企业基于自己的Hadoop集群提供云服务.因为单个Hadoop集群的资源是有限的,Hadoop集群必须将有限的资源分配给一些特殊的任务以获得最大的利益.文中研究给定候选任务集的最大利润问题.用有效的序列描述候选任务集,并提出了一种基于序列的调度策略.为了提高查找有效序列的效率,设计了一些修剪策略,并给出了相应的调度算法.最后,在某些任务运行超时的情况下,提出了超时处理算法.实验结果表明,该算法的总收益非常接近理想的最大值,在不同的实验环境下明显优于相关的调度算法.

关键词：MapReduce、任务集、调度算法、利润、大数据

所属期刊栏目：28

分类号：TP301.6(计算技术、计算机技术)

资助基金：安徽省2016年高校自然科学基金重点项目KJ2016A430

在线出版日期：2019-03-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：194-199