基于密度峰值优化的Canopy-Kmeans并行算法

摘要：

随着数据规模的爆炸式增长,利用K-means等聚类算法挖掘大数据的潜在价值,已成为一个当前较为重要的研究方向.将Canopy算法与K-means算法结合,可解决K个中心点的选取问题.而针对Canopy-Kmeans算法中初始中心点选取随机、算法受噪声点影响等问题,提出了一种利用密度峰值改进的M-Canopy-Kmeans算法,并采用Spark框架实现算法的并行化.实验结果表明,改进后的算法避免了Canopy中心点选取的盲目性,且有效排除了样本中的噪声点,准确性、抗噪性都有明显提高,且在Spark并行框架中具有良好的加速比和扩展性.

关键词：密度峰值、Spark、Canopy-Kmeans、聚类

所属期刊栏目：51

分类号：TP301.6(计算技术、计算机技术)

资助基金：国家国际科技合作专项项目2014DFA00670;贵州省研究生教育教学改革重点课题黔教研合JG字[2016]15;贵州省科技厅工业攻关项目黔科合GY字[2010]3056International Science&Technology Cooperation Program of China2014DFA00670;Postgraduate Education Reform Project of Guizhou ProvinceGERC-JG[2016]15;Key Industry Project of Guizhou Science and Techonology AgencyGSC-GY[2010]3056

在线出版日期：2018-04-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：312-317