一种能效优化的MapReduce资源比模型

摘要：

随着云计算的快速发展,IT资源规模的不断扩大导致能耗问题日益凸显.为降低MapReduce编程模型带来的高能耗,文中研究Map/Reduce任务的资源消费特征及该特征与能效的关系,旨在寻找一种能够指导资源分配和任务调度的资源模型,进而实现能效优化.文中提出任务的能效与任务被分配的资源量无关,而与其被分配的各种资源的资源量比例相关,且存在一个“最佳资源比”使得能效达到最高.基于此,文中首先提出了普适的资源和能效模型,从模型层面证明最佳资源比和能效之间的关系,量化空闲资源量和空闲能耗;随后分析MapReduce编程模型,将普适资源比模型变换到MapReduce下.通过抽象的数据的“生产者-消费者”模式,求解Map/Reduce任务的最佳资源比;最后,通过实验从任务能效和空闲能耗两个角度证明了最佳资源比的存在,并根据实验结果,对MapReduce执行过程进行划分,给出了部分Map/Reduce任务的最佳资源比.最佳资源比的提出和求解将有利于基于该最佳资源比的任务调度和资源分配算法的研究,进而实现Map/Reduce任务能效的提高.

关键词：云计算、能效、资源比、MapReduce

所属期刊栏目：38

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学青年基金61202088;中国博士后科学基金面上项目2013M540232;中央高校基本科研业务费专项资金N120817001;教育部博士点基金20120042110028;This work is mainly supported by the National Natural Science Foundation of China61202088;named as "Research on Energy-Consumption Optimization Approaches for Cloud Database Systems".The project aims to study an optimization approach of "reducing idle power consumption by reducing node's waiting time" in cloud database system;this paper focuses on the "energy-consumption optimized data placement" part of the project.This work is also supported by Fundamental Research Funds for the Central Universities of China N100704001.Our group has been working in the area of massive data computing and energy-efficient computing for

在线出版日期：2015-04-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共15页

页码：59-73