MapReduce 性能预测模型构建

摘要：

MapReduce 是目前大数据处理中应用最广泛的云计算模型，预测其性能有利于提高云计算的效率。然而 MapRe-duce 运行需要依赖大量的配置参数，这些参数会对 MapReduce 性能产生较大的影响。传统的 MapReduce 模型的配置参数的预测方法都是基于管理员经验的定性分析，无法准确预测 MapReduce 模型运行时间。为更好地对 MapReduce 性能进行预测，利用数学分析中的多元线性回归方法，在分析现有的影响 MapReduce 性能的配置参数的基础上，构建了 MapReduce性能和其配置参数之间的多元线性回归模型。为了验证该方法的正确性，以两个最重要的配置参数 Map 和 Reduce 数量为例进行了算例验证。实验结果表明，多元线性回归模型可以用来预测 MapReduce 性能。

关键词：MapReduce、云计算模型、性能预测、多元线性回归模型

分类号：TP393(计算技术、计算机技术)

资助基金：总装备部预研项目513150701

在线出版日期：2016-04-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：70-73