基于MapReduce的分治k均值聚类方法

摘要：

针对原始k均值法在MapReduce建模中执行时间较长和聚类结果欠佳问题,提出一种基于MapReduce的分治k均值聚类方法.采取分治法处理大数据集,将所要处理的整个数据集拆分为较小的块并存储在每台机器的主存储器中;通过可用的机器传播,将数据集的每个块由其分配的机器独立地进行聚类;采用最小加权距离确定数据点应该被分配的类簇,判断收敛性.实验结果表明,与传统k均值聚类方法和流式k均值聚类方法相比,所提方法用时更短,结果更优.

关键词：数据聚类、基于MapReduce的聚类、分治法、大数据、k均值法

所属期刊栏目：41

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金面上基金项目;佛山市科技计划基金项目

在线出版日期：2020-05-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：1345-1351