基于加权网格和信息熵的并行密度聚类算法

摘要：

针对大数据下基于密度的聚类算法中存在的数据网格划分不合理,聚类结果准确度不高以及并行化效率较低等问题,提出了基于MapReduce和加权网格信息熵的DBWGIE-MR算法.首先提出自适应网格划分策略(ADG)来划分网格单元;其次提出邻居网格扩展策略(NE)用于构建每个数据分区的加权网格,以此提高聚类效果;同时提出加权网格信息熵策略(WGIE)来计算网格密度以及密度聚类算法的ε邻域和核心对象,使密度聚类算法更适用于加权网格;接着结合MapReduce计算模型,提出并行计算局部簇算法(COMCORE-MR),从而加快获取局部簇;最后提出了基于并查集的并行合并局部簇算法(MECORE-MR),用于加快合并局部簇的收敛速度,提升了基于密度的聚类算法对局部簇合并的效率.实验结果表明,DBWGIE-MR算法的聚类效果更佳,且在较大规模的数据集下算法的并行化性能更好.

关键词：大数据、密度聚类、加权网格、信息熵

所属期刊栏目：14

分类号：TP311(计算技术、计算机技术)

资助基金：The National Key Research and Development Program of China under Grant No.2018YFC1504705国家重点研发计划;the Na-tional Natural Science Foundation of China under Grant No.41562019国家自然科学基金;the Science and Technology Founda-tion of Jiangxi Provincial Department of Education under Grant Nos.GJJ151528,GJJ151531江西省教育厅科技项目

在线出版日期：2020-12-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共14页

页码：2094-2107