MapReduce下融合PAM算法与仔细播种的多样本归并聚类

摘要：

传统PAM(Partitioning Around Medoids)算法时间复杂度较高,处理大数据集时效率低下.近年来,越来越多研究者使用MapReduce模型来使聚类算法获得更高的性能,然而MapReduce模型在算法迭代过程中需要多次重启任务、从文件系统读取数据和数据洗牌,影响数据处理效率.本文提出两种基于MapReduce的融合PAM算法与仔细播种的聚类处理模型,在保持PAM算法聚类有效性的同时,在算法性能上获得显著提高.性能试验和聚类有效性实验的结果表明本文提出的方法达到了预期的效果且具有很好的可扩展性.

关键词：PAM聚类算法、MapReduce、概率抽样、性能、聚类有效性

所属期刊栏目：38

分类号：TP311(计算技术、计算机技术)

资助基金：江苏省自然科学基金项目BK20140165;国家留学基金委赞助项目201308320030

在线出版日期：2017-11-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：2281-2285