大数据下的分布式精确模糊KNN分类算法

摘要：

针对K近邻(KNN)方法处理大数据集的效率问题进行了研究,提出了一种基于Spark框架的分布式精确模糊KNN分类算法,创新性地将Spark框架分布式map和reduce过程与模糊KNN结合.首先对不同分区中训练样本类别信息进行模糊化处理,得到类别隶属度,将训练集转换为添加类隶属度的模糊训练集;然后使用KNN算法对先前计算的类成员测试集计算得到k个最近邻;最后通过距离权重进行分类.针对百万级大数据集样本的实验,以及与其他算法的对比实验表明,所提算法是可行的和有效的.

关键词：大数据、分布式Spark框架、类隶属度、模糊KNN算法

所属期刊栏目：36

分类号：TP391(计算技术、计算机技术)

资助基金：重庆市教育科学“十三五”规划2017年度重点无经费课题2017-GX-181

在线出版日期：2020-05-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：3701-3704