DOI:10.3969/j.issn.1673-629X.2019.03.015基于Spark平台的K-means算法的设计与优化下载全文在线阅读引用分享分享到微信朋友圈打开微信,点击底部的“发现”,使用 “扫一扫” 即可将网页分享到我的朋友圈收藏摘要:聚类中心需要手动设置是K-means算法最大的问题,而通常情况是并不能确定现实中数据的分类情况.为了解决这一问题,提出了一种新的OCC K-means算法.不同于传统算法以随机选择的方式产生聚类中心,该算法进行必要的预处理,利用UPGMA和最大最小距离算法对数据点进行筛选,得到可以反映数据分布特征的点,并作为初始的聚类中心,以提高聚类的精度.从两次的实验结果可以对比出,在不同的数据集上,改进算法在衡量聚类效果的准确率、召回率、F-测量值上的表现要优于传统K-means算法.这是因为OCC算法选择的中心点来自于不同的且数据密集的区域,并在筛选的过程中排除了噪声数据、边缘数据对实验的干扰;同时为了契合大数据发展潮流,使用Scala语言在Spark平台进行了并行化实现,提高了算法处理海量数据的能力,并通过实验指标验证了算法具有良好的并行化能力.关键词:聚类、聚类中心、K-means、最大最小距离算法、非加权组平均法所属期刊栏目:29分类号:TP301(计算技术、计算机技术)资助基金:国家自然科学基金61640020;江苏省农业自主创新项目CX133054、CX161006;江苏省重点研发计划BE2016368-1;江苏省科技重点及面上项目SBE2018310371;弹总装线***技术研究JCKY2017***;Postgraduate Research&Practice Innovation Program of Jiangsu ProvinceSJCX17_0107;北京市教育委员会科技计划面上项目KM201510028019在线出版日期:2019-05-31(万方平台首次上网日期,不代表论文的发表时间)页数:共5页页码:72-76 英文信息展示收起英文信息