基于Spark的K-means改进算法的并行化实现

摘要：

针对传统K-means算法在处理海量数据时, 存在计算复杂度高和计算能力不足等问题, 提出了SKDk-means (Spark based kd-tree K-means)并行聚类算法. 该算法通过引入kd-tree改善初始中心点的选择,克服传统K-means算法因初始点的不确定性, 易陷入局部最优解的问题, 同时利用kd-tree的最近邻搜索减少K-means在迭代中的距离计算, 加快聚类速度, 并在Spark平台上实现了该算法的并行化, 使其适用于海量数据聚类,最后通过实验验证了算法具有良好的准确率和并行计算性能.

关键词：kd-tree、Spark、K-means、并行化、云计算

所属期刊栏目：27

资助基金：江苏省自然科学基金BK20140165;国家留学基金委项目201308320030

在线出版日期：2018-05-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：151-156