基于MapReduce的人工蜂群算法在大数据中的应用

摘要：

随着信息技术的不断进步,数据规模不断增大.聚类是一种典型的数据分析方法,尤其是对大规模数据进行聚类分析近年来备受关注.针对现有序列聚类算法在对大规模数据进行聚类时,在内存空间和计算时间方面开销较大的问题,提出了基于MapReduce的人工蜂群聚类算法,通过引入MapReduce并行编程范式,快速计算聚类中心适应度,可实现对大规模数据的高效聚类.基于仿真和真实的磁盘驱动器制造两类数据,对算法的聚类效果、可扩展性和聚类效率进行了验证.实验结果表明,与现有PK-Means算法和并行K-PSO算法相比,论文算法具有更好的聚类效果、更强的扩展性和更高的聚类效率.

关键词：大数据、MapReduce、人工蜂群、聚类、并行编程范式

所属期刊栏目：48

分类号：TN911.34

资助基金：国家自然科学基金项目编号:61672393

在线出版日期：2020-05-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：124-129,146