基于Spark的并行图数据分析系统

摘要：

提出了一种基于Spark云计算平台的并行数据分析系统。该系统以大规模图数据分析任务为主，并且支持非图数据分析的应用，集成数据分析算法集与非图数据分析算法集。详细阐述了该系统的架构设计，工作流引擎和动态组件更新技术以及部分并行数据分析算法的设计与实现。通过对多种规模的数据集进行性能测试，以及与传统的MapReduce平台进行性能对比，证明了该系统相对于以往的图数据挖掘系统可以更高效地完成计算任务，而且也可以有效进行非图数据分析。

关键词：云计算、并行算法、图数据分析、数据挖掘、社会网络分析

分类号：TP311(计算技术、计算机技术)

资助基金：The Foundation of Ministry of Education of China and China Mobile under Grant No. MCM20130351;the Co-construction Project of Beijing Municipal Commission of Education

在线出版日期：2015-09-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：1066-1074