大规模数据集Spark并行优化谱聚类

摘要：

针对已有大规模数据集并行谱聚类算法的计算耗时和资源占用巨大等问题,基于当前批处理和图计算兼顾的Spark并行技术,提出了大规模数据集谱聚类的并行优化改进算法,算法通过并行单向迭代避免了相似矩阵计算时的数据重复计算,通过并行位置变换、标量乘法替换及距离缩放优化算法的资源占用,通过近似特征向量替代进一步优化算法的计算量.试验结果验证了算法近特征向量的有效性及在大规模数据集下良好聚类性能和扩展性.

关键词：大规模集谱聚类、近似特征向量、Spark并行框架、K-means距离计算、优化

分类号：P208(一般性问题)

资助基金：辽宁对外经贸学院博士科研启动基金2019XJLXBSJJ002;辽宁省教育厅科学研究项目ldxy2017008

在线出版日期：2020-01-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：96-100