FlowS:一种MapReduce数据流公平调度方法

摘要：

MapReduce Job的调度机制一直是学术研究的热点.在分析MapReduce数据流调度模型的基础上,提出一种面向MapReduce数据流的公平调度方法FlowS.该方法采用数据流池来分配资源以保证MapReduce数据流的隔离性,并且采用数据流池动态构建算法来确保资源的公平分配.实验表明,该调度方法可以有效提高Hadoop集群对MapReduce数据流的处理效率.

关键词：MapReduce数据流、资源管理、公平调度方法

所属期刊栏目：39

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金项目61170074;国家科技重大核高基项目2010ZX01042-001-001-05;国家科技支撑计划2011BAH15P05,2012BAH05F02

在线出版日期：2012-11-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：157-161,174