MapReduce环境中的性能特征能耗估计方法

摘要：

针对MapReduce系统中负载能耗特征多样性为系统成本调度带来的负载与节点难以匹配的问题,提出一种基于负载性能特征的能耗估计方法.该方法以MapReduce系统中各节点操作系统的性能事件为依据估计在线负载的能耗.为了提升负载能耗估计结果的准确度,采用机器学习的方法,在负载执行时,搜集系统的性能特征,并建立估计模型的样本集;采用粗糙集理论中属性约简方法对性能特征属性进行约简;在性能属性约简的结果之上,基于支持向量机理论,建立能耗的估计模型,对负载运行时系统的能耗进行准确的估计.实验结果表明:基于性能特征的能耗估计方法拥有较高的估计准确率,在单作业环境中平均相对误差为4％,在多作业环境中可达到4.5％.

关键词：能耗估计、性能特征、MapReduce

所属期刊栏目：49

分类号：TP333(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目61202041,91330117;国家高技术研究发展计划资助项目2011AA01A204,2012AA01A306

在线出版日期：2015-04-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：14-19