基于MapReduce模型的推测执行优化算法

摘要：

作为数据中心大规模处理框架,MapReduce集群包含成百上千个节点,多采用推测执行的方法来有效解决并行计算中的掉队任务.针对集群中实时性需求较高并且任务量较小的目标作业,提出基于MapReduce模型的推测执行优化算法,其目的是在满足实时性需求的基础上尽量减少目标作业的完成时间.首先通过分析任务模型和时间模型,引入数学0-1规划模型,求得整体作业的完成时间最小;然后设计可以在多项式复杂度内完成的启发式算法,目的是在可用资源允许的范围内尽量逼近最优值;最后通过大量实验模拟验证算法的执行效果.

关键词：MapReduce、并行计算、推测执行、实时性

所属期刊栏目：44

分类号：TP393(计算技术、计算机技术)

资助基金：国家自然科学基金项目61502230,61073197;江苏省自然科学基金项目BK20150960;江苏省科技支撑计划工业项目BE2011186;江苏省未来网络前瞻性研究项目BY2013095-4-09;江苏省普通高校自然科学研究项目15KJB520015;江苏省六大高峰人才基金资助项目;江苏省2015年度普通高校研究生科研创新计划KYLX15_0804

在线出版日期：2017-05-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：193-196,212