基于BSP大图处理系统中多分区策略研究

摘要：

由于现实生活中的许多应用都以图的形式生成数据,并且一个大图包含数百万个顶点和数十亿条边等问题.本文提出了基于BC-BSP(Bulk Synchronous Prallel,大块同步并行)的系统BC-BSP+,以并行化方式来对大图进行迭代处理.通过BSP系统灵活配置策略(即磁盘管理参数)和拓展功能(即编程接口),根据容错和负载均衡计算大规模图形.通过图的三种分区策略(随机Hash划分算法RHP、负载均衡Hash划分算法BHP和基于范围的顶点划分算法VCRP)来支持大图的处理工作.实验结果表明VCRP优于BHP和RHP,采用VCRP分区策略将BC-BSP+与基于MapReduce的Hadoop进行对比,得出BC-BSP+总体表现均比Hadoop、Giraph和Hama处理大图数据的效率高.

关键词：聚类、分层聚类、模糊聚类、聚类数、有效性函数

所属期刊栏目：31

分类号：TP301.6(计算技术、计算机技术)

资助基金：四川省教育厅重点项目15ZA0339;阿坝师范学院校级规划项目ASB12-24

在线出版日期：2017-07-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：88-95