基于Hadoop MapReduce的组合服务性能优化研究

摘要：

对Hadoop中的任务调度进行了研究,在分析Hadoop作业调度算法的需求的基础上,文中提出了调度算法在线性意义上的解空间.针对Hadoop的编程模型框架,提出了一种结合禁忌搜索思想的改进人工鱼群算法.在该算法中,以任务总执行时间作为寻优函数,采用线性编码方式,每一个N维向量代表一种具体调度方案;利用将解向量直接作为人工鱼的方法,使人工鱼群算法可以直接在解空间内运行.结合禁忌搜索思想,既保留了人工鱼群算法计算基数大仍能快速收敛的优点,又充分利用禁忌搜索不会陷入局部最优解的优势.通过仿真实验将该算法和Fair算法进行比较,结果表明:改进的人工鱼群作业调度算法可以提高系统性能,降低任务运行时间,是一种Hadoop环境下有效的任务调度程序.

关键词：Hadoop、人工鱼群算法、作业调度算法、组合优化

所属期刊栏目：26

分类号：TP301.6(计算技术、计算机技术)

资助基金：江苏省自然科学基金项目BK20130882

在线出版日期：2016-06-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：61-65