一种K-means改进算法的并行化实现与应用

摘要：

随着数据的爆炸式增长，聚类研究作为大数据的核心问题之一，正面临计算复杂度高和计算能力不足等诸多问题。提出了一种基于Hadoop的分布式改进K-means算法，该算法通过引入Canopy算法初始化K-means算法的聚类中心，克服传统K-means算法因初始中心点的不确定性，易陷入局部最优解的问题。本算法在Canopy(罩盖)中完成K-means聚类，并在Canopy间完成簇的合并，聚类效果稳定，迭代次数少。同时，结合MapReduce分布式计算模型，给出改进后算法的并行化设计方法和策略，进一步通过改进相似度度量方法，将该方法用于文本聚类中。实验结果证明该算法具有良好的准确率和扩展性。

关键词：canopy算法、Hadoop、MapReduce、并行K-means、文本聚类

所属期刊栏目：46

分类号：TP311(计算技术、计算机技术)

资助基金：国家科技支撑计划2012BAH87F03；中央高校基本科研业务费ZYGX2014J065

在线出版日期：2017-03-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：61-68