分布共享环境下支持弹性伸缩的图处理框架

摘要：

作为大数据处理的一种重要模式，图处理被广泛地应用在机器学习、数据统计和数据挖掘等场景中。在企业级应用中，多种类型的大数据处理框架通常会部署在同一个分布式集群中，其运行环境是开放、共享的，这时图处理需要考虑运算资源动态变化的问题。为了能适应这种动态性，更加充分地利用开放共享环境的资源，图处理框架应该具备弹性伸缩能力。通过调研，发现现有的图处理框架尚未完全实现弹性伸缩。为此，介绍了一种支持弹性伸缩的分布式并行图处理框架SParTaG。首先基于任务并行模型定义了图处理任务集及任务模型；其次基于任务迁移机制设计并实现了可动态伸缩的图处理框架；最后设计了一个基于负载均衡的调度算法，实现了动态伸缩的图处理过程。实验结果说明，SParTaG的性能与当前流行的开源图处理框架Giraph相近，且具有较好的弹性伸缩能力。

关键词：图处理、分布式并行计算、弹性伸缩、任务迁移

所属期刊栏目：10

分类号：TP391(计算技术、计算机技术)

资助基金：The National Natural Science Foundation of China under Grant Nos.61272154,61121063;the National Basic Research Program of China under Grant No.2011CB302604国家重点基础研究发展计划973计划;the Baidu Cloud Service Plat-form Demonstration Project

在线出版日期：2016-08-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共14页

页码：901-914