基于Spark的改进K-means快速聚类算法

摘要：

针对大数据环境下聚类算法所处理数据规模越来越大、对算法时效性要求越来越高的问题,提出一种基于分布式计算框架Spark的改进K-means快速聚类算法Spark-KM.首先针对K-means算法因初始聚类点选择不当导致局部最优、迭代次数增加而无法适应大规模数据聚类的问题,通过预抽样和最大最小距离相结合对K-means算法进行改进;然后对原始数据进行矩阵分割,并存储在不同的Spark计算框架的结点当中;最后根据改进的K-means算法,结合分布式矩阵计算和Spark平台进行大数据快速聚类.结果表明,文中算法可以有效减少结点间的数据移动次数,并具有良好的可扩展性.通过该算法在单机环境和集群环境的对比测试,说明该算法适用于大规模数据环境,且算法性能与数据规模成正比,集群环境较单机环境也具有很大的性能提高.

关键词：改进K-means、预抽样、最大最小距离、矩阵分割、矩阵计算

所属期刊栏目：39

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目61672268

在线出版日期：2018-06-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：316-323