基于k-d树分区的聚类算法并行加速策略

摘要：

针对传统K-Means算法存在准确率低、聚类速度慢的问题,从K-Means算法优化和Flink框架并行层面对K-Means算法优化.为避免算法陷入局部最优解,采用质心间最大距离原则选出k个质心;为提高大数据量下的K-Means聚类速度,提出用k-d树算法划分数据集实现操作算予并行化,设置多个TaskManager数目和CPU核数加速F-KMeans算法的执行.实验结果表明,较K-Means算法,F-KMeans算法的准确率提高了约3.6％;F-KMeans算法在DataSource耗时降低了45.45％,在其余阶段耗时平均降低了约28.57％.

关键词：数据分区、加速策略、性能优化、并行化、流式计算

所属期刊栏目：40

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金项目61562086、61462079;新疆“万人计划”后备基金项目wr2015bj01;新疆维吾尔自治区高校科研基金项目XJEDU2017002

在线出版日期：2020-01-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：3437-3442