基于Spark的高维数据相似性连接

摘要：

高维数据相似性连接(HDSJ)是指在给定的空间数据库中,频繁执行连接和距离计算操作找出向量空间满足给定条件的数据对.但是随着数据量和维数的增加,HDSJ的计算成本将呈指数增加.针对HDSJ在处理海量数据时效率不佳的问题,利用Spark集群分布式和基于内存并行计算特性,提出了基于Spark框架的HDSJ改进方法.该方法主要借助Spark中高效的RDD算子,使用分段聚合近似(PAA)表示原始的高维向量,用符号聚合近似(SAX)将表示后的向量重新组织成组,这样可以避免大量不必要的计算.PAA和SAX都是已有的降维技术,将二者结合使用可以很好地过滤掉大部分的干扰数据.实验结果证明,该方法在保证实验结果准确率的前提下提高了运算速率,比现有方法有更好的性能优势.

关键词：高维数据、相似性连接、Spark、分段聚合近似、符号聚合近似

所属期刊栏目：28

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金61402329

在线出版日期：2018-09-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：43-47