基于Spark的模糊聚类算法实现及其应用

摘要：

作为软聚类的代表性算法,模糊聚类算法FCM能客观地处理带有模糊性的聚类问题.为了适应对大数据进行实时和准确地聚类的需求,提高FCM算法对大数据的聚类效率,设计了FCM基于大数据计算平台Spark的并行化实现方法.该方案用HDFS对底层数据进行分布式存储,用RDD机制进行计算过程中的数据转换,用持久化技术实现中间结果的重用.为了检验所设计的并行化FCM算法的有效性,将其应用于入侵检测系统中,首先对KDD CUP 99数据集进行预处理,然后分别在单机和Spark集群上,针对预处理前后的KDD CUP 99数据集,用该算法实施聚类来检测入侵,并比较检测的准确性和时效性.应用结果表明,基于Spark的并行化FCM算法有良好的聚类鲁棒性、收敛速度和准确率,尤其在处理大规模样本数据时,优势更加明显.

关键词：聚类分析、模糊C均值、Spark、入侵检测

所属期刊栏目：29

分类号：TP39(计算技术、计算机技术)

资助基金：国家自然科学基金61302158,61571238

在线出版日期：2019-03-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：130-134