Hadoop集群作业调度算法优化技术研究

摘要：

针对当前云计算技术的广泛使用，提出对Hadoop集群作业调度算法进行研究的构想。在对Hadoop新版本中提出的Hadoop Map Reduce V2（Yarn）框架进行深入研究的基础上，设计一个详细完整的对比实验，针对各种作业调度算法的优势与不足进行全面的测试。通过使用不同的作业调度算法运行相同的作业，进行细致横向的对比，并得到各种作业调度算法之间以及计算框架之间在计算能力、运行时间、资源占用等方面的优劣。实验结果表明，公平调度算法和计算能力调度算法相较于传统的FIFO算法具有更灵活、更高效的特点。

关键词：云计算、Hadoop、HDFS、作业调度、集群

所属期刊栏目：39

分类号：TN911-34

资助基金：河南省科技厅计划项目基于决策树和遗传神经网络的房地产预警系统研究132102310516；平顶山学院青年基金项目基于神经网络的软件故障定位研究PDSU-QNJJ-2013002

在线出版日期：2016-05-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：25-29