混合存储模式下MapReduce作业调度

摘要：

在异构Hadoop集群场景中,?为了缓和由于纠删码和副本存储模式混合使用,?以及服务器节点本身实时算力差异造成的MapReduce作业处理效率低下的问题,?本文实现了一种根据数据存储情况和节点实时负载来在多并发场景下动态调节MapReduce作业任务分配情况的调度策略.?该策略通过修改当前Hadoop框架中的数据存储选址策略并对节点任务并发量进行动态控制,?在多作业并发时实现更加均衡的作业间资源分配.?实验结果表明,?相较于Hadoop默认的两种作业调度策略,?本文提出的调度模式能够将作业完成时间缩短约17％,?并有效避免部分作业面临的饥饿现象.

关键词：MapReduce、作业调度、纠删码、异构集群、混合存储、云计算、负载均衡、大数据

所属期刊栏目：32

分类号：TP311.13;TN915-34;R318.6

资助基金：国家自然科学基金61832011

在线出版日期：2023-03-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共16页

页码：70-85