一种基于Spark的多路空间连接查询处理算法

摘要：

针对云环境下空间数据连接查询处理问题,提出了一种基于Spark的多路空间连接查询处理算法BSMWSJ.该算法采用网格划分方法将整个数据空间划分成大小相同的网格单元,并将各类数据集中的空间对象,根据其空间位置划分到相应的网格单元中,不同网格单元中的空间数据对象进行并行连接查询处理.在多路空间连接查询处理过程中,采用边界过滤的方法来过滤无用数据,即通过计算前面连接操作候选结果的MBR来过滤后续连接数据集,从而过滤掉无用的连接对象,减少连接对象的多余投影与复制,并采用重复避免策略来减少重复结果的输出,从而进一步减少后续连接计算的代价.合成数据集和真实数据集上的大量实验结果表明:提出的多路空间连接查询处理算法在性能上明显优于现有的多路连接查询处理算法.

关键词：云计算、Spark平台、多路空间连接查询、边界过滤、重复避免

所属期刊栏目：54

分类号：TP311.13(计算技术、计算机技术)

资助基金：国家自然科学基金项目61073063,61332006;国家海洋公益性行业科研专项经费项目201105033This work was supported by the National Natural Science Foundation of China61073063, 61332006;the National Marine Industry Research Special Funds for Public Welfare Projects201105033

在线出版日期：2017-08-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：1592-1602