大规模多维网络数据分析框架的研究与实现

摘要：

随着互联网的快速发展和计算机应用的不断增加,大量的图数据特别是社会网络数据不断生成.多维信息网络已经成为表示这些图数据的通用方式.但是在多维信息网络中,节点的类型多种多样,节点的属性也不尽相同,如何对多维信息网络数据进行多角度多粒度的分析,挖掘其中的隐藏信息,成为人们关注的焦点.图联机分析处理技术(graph online analytical processing,GraphOLAP)可以对图数据进行快速的联机分析以及查询操作.借助于GraphOLAP的现有成果,针对多维信息网络的特点,提出了新的数据立方体框架.引入主节点的概念来指导元路径的生成,通过元路径指导网络的上卷下钻,提出属性转化和同质转化来丰富OLAP操作.最后讨论了优化的物化策略,使用并行计算框架Spark来实现算法,通过多个数据集验证了框架的有效性和高效性.

关键词：GraphOLAP、数据立方体、元路径、Spark

所属期刊栏目：11

分类号：TP399(计算技术、计算机技术)

资助基金：The National Natural Science Foundation of China under Grant No. 71231002;the Special Fund for Beijing Common Construction Project

在线出版日期：2017-12-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：1941-1952