基于Spark的高维K近邻连接算法

摘要：

为解决数据量日益增长和数据维度不断增高,通过单机运行K近邻连接算法得出结果时间过长无法满足时效要求的问题,提出一种基于Spark的使用位置敏感哈希函数对数据预处理后再进行查询的算法.利用位置敏感哈希函数对训练集数据降维并进行分桶索引,进行近邻查找,有效利用Spark基于内存的高性能并行计算能力.实验结果表明,该算法对高维大数据具有较高的准确性和查询效率.

关键词：K近邻连接、高维、大数据、哈希函数、并行计算

所属期刊栏目：39

分类号：TP301(计算技术、计算机技术)

资助基金：承德市科学技术研究与发展计划基金项目201801A080

在线出版日期：2018-09-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：2544-2549