基于异常检测模型的异构环境下MapReduce性能优化

摘要：

针对"落伍者"的选择问题,提出利用故障诊断领域内通常使用的异常检测模型来选择"落伍者"的方法.首先,利用异常检测算法来发现集群中的"慢节点";然后改进MapReduce任务分配算法和推测执行算法,不再给"慢节点"分配任务并将"慢节点"中的任务分配至有空闲任务槽的正常节点中.在改进的推测执行算法中,因相同网段内的节点通常物理邻近,可提高数据传输速度,首次将"慢节点"中的任务分配至同网段的正常节点中,以便数据传输.实例验证结果表明,使用异常检测算法后可迅速检测出异常节点,且与Hadoop-LATE算法相比,处理相同任务量可缩短集群17％的任务处理时间,说明所提算法在集群整体性能优化中表现优异.

关键词：异常检测、MapReduce性能优化、推测执行、异构环境

所属期刊栏目：35

分类号：TP302(计算技术、计算机技术)

资助基金：中央高校基本科研业务费专项资金专题研究项目SWJTU11ZT08;国家语委"十二五"科研规划项目YB125-49

在线出版日期：2015-11-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：2476-2481