Spark平台下聚类算法的性能比较

摘要：

通过实验,从运行时间、加速比、可扩展性和规模增长性4个方面比较了Spark平台中3种典型的聚类算法即K-means聚类算法、二分K-means聚类算法和高斯混合聚类算法的性能.实验结果表明:1)随着节点个数的增加,3种算法对百兆以上规模数据集聚类的运行时间明显减少;2)当数据集规模大于500MB时,3种算法的加速比均有明显提高,且随着节点个数的增加,加速比近似于线性增长;3)3种算法的可扩展性随着节点个数的增加而降低,当数据集规模大于500MB时,相对于K-means和高斯混合算法,二分K-means算法的可扩展性最差;4)当数据集规模大于100MB时,高斯混合算法的规模增长性远高于K-means和二分K-means算法.

关键词：Spark、K-means聚类、二分K-means聚类、高斯混合聚类、运行时间、加速比、可扩展性、规模增长性

所属期刊栏目：44

分类号：TP311(计算技术、计算机技术)

资助基金：网络与数据安全四川省重点实验室开放课题NDSMS201604;中央财经大学青年教师发展基金项目QJJ1634

在线出版日期：2017-12-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：414-418