基于MapReduce和Spark的大规模压缩模糊K-近邻算法

摘要：

压缩模糊K-近邻(CFKNN)算法仅适用于中小数据环境,且其样例选择采用静态机制,导致算法不能对阈值进行动态调整从而选出最优样例.为此,对CFKNN算法进行改进,将其扩展到大规模数据环境,提出分别基于MapReduce和Spark的2种大规模压缩模糊K-近邻算法.在样例选择阈值设置方面,引入动态机制,使得所选样例更具代表性.在具有7个数据节点的大数据平台上进行实验,结果表明,与CFKNN算法相比,所提2种算法具有更高的分类精度和加速比.2个平台相比,MapReduce产生的中间文件数目多于Spark,而Spark在运行时间和同步次数上优于MapReduceo.

关键词：MapReduce平台、Spark平台、模糊K-近邻、样例选择、动态机制

所属期刊栏目：46

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金;河北省自然科学基金;河北省科技计划重点研发基金;河北大学研究生创新项目基金

在线出版日期：2021-01-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：139-147