基于分布式平台Spark的空间文本查询分析

摘要：

随着基于位置服务应用的不断推广,空间文本数据查询的应用价值(例如结合地理位置和用户标签的社交推荐)也在不断提高.但是,随着数据规模的迅速增长,传统的基于单机环境实现的技术难以为用户提供低延时和高吞吐量的服务.为此,本文基于Spark平台对分布式环境下的空间文本查询算法进行了探究.采用了面向海量空间文本数据的两层索引框架(包括全局索引和局部索引),该框架利用了分阶段过滤的策略来处理分布式下的布尔范围查询问题.同时,针对空间文本相似连接提出了Prefix-RI结构并提出了相应的分布式算法.基于Spark平台实现了所提出的分布式算法,并通过大量的实验对比验证了所提出方法的优越性.

关键词：分布式计算、空间文本分析、相似连接

分类号：TP311(计算技术、计算机技术)

资助基金：国家重点研发计划项目2017YFC0803700;广东省科技计划项目2015A030401057,2016B030307002

在线出版日期：2018-11-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共16页

页码：120-134,153