支持大规模流数据处理的弹性在线MapReduce模型及拓扑协议

摘要：

针对现阶段大规模流数据在线处理的广泛需求,本文提出了弹性在线MapReduce流数据处理模型及相关的动态拓扑结构协议.该模型兼容现有MapReduce模型,采用内存计算模式,并具有动态的作业拓扑结构,支持大规模流数据处理作业在运行过程中的弹性调整,从而满足流数据的时效性、动态性和突发性等特殊要求.在弹性在线MapReduce模型的基础上建立了流数据处理作业动态拓扑结构管理机制,设计了作业在线初始化协议和在线调整协议.为进一步提高系统灵活性和整合资源,提出了作业间的操作共享概念,设计了作业共享协议.通过协议分析,本文提出的在线初始化协议、在线动态调整协议及作业共享协议的最大复杂度均为O(n);在数据流量发生突发性变化时,系统具有良好的可伸缩性.

关键词：计算机系统结构、流数据处理、内存计算、MapReduce、拓扑结构、操作共享

所属期刊栏目：46

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金项目61170004;国家深部探测技术与实验研究专项项目SinoProbe-09-01;高等学校博士学科点专项科研基金项目20130061110052;吉林省科技发展计划重点科技攻关项目20140204013GX

在线出版日期：2016-10-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：1222-1231