基于机器学习的 MapReduce 资源调度算法

摘要：

针对 MapReduce 中允许 map 和 shuffle 阶段重叠的优化模型需要自适应性的问题，提出了基于此模型的机器学习的资源调度算法，利用贝叶斯分类器依据作业对系统资源的需求和系统环境的匹配程度对作业进行调度，并不断更新分类器，使其具有自适应性，考虑了 map 和 shuffle 的重叠阶段。通过模拟实验验证，改进后的算法能够提高 MapReduce 系统的性能，获得更好的平均响应时间。

关键词：MapReduce、重叠阶段、自适应性、机器学习、贝叶斯分类器

分类号：TP181;TP301.6(自动化基础理论)

资助基金：江苏省自然科学基金资助项目BK2011060，BK2010240

在线出版日期：2016-03-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：111-114