一种基于密度聚类的分布式离群点检测算法

摘要：

局部离群点检测算法是数据挖掘中的一个重要研究方向,随着数据的爆炸式增长,挖掘离群点的工作变得更加有意义,当前的各种检测算法在处理大规模数据上存在很多不足.论文将传统的离群点检测算法LOF和Hadoop分布式平台下的MapReduce分布式框架结合,实现了并行化策略,并且通过密度聚类算法DBSCAN对其进行了改进.论文算法和LOF算法、其他改进算法相比在效率和准确率上均有所提高.并且随着Hadoop系统中数据节点个数的增加,算法的运行效率相应的有所提高,实验结果表明论文算法在处理大规模数据上是可行的.

关键词：局部离群点检测、密度聚类、Hadoop、MapReduce、并行化、局部离群因子

所属期刊栏目：47

分类号：TP301.6(计算技术、计算机技术)

在线出版日期：2020-01-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：1320-1325