10.16208/j.issn1000-7024.2019.12.013
基于k-d树分区的聚类算法并行加速策略
针对传统K-Means算法存在准确率低、聚类速度慢的问题,从K-Means算法优化和Flink框架并行层面对K-Means算法优化.为避免算法陷入局部最优解,采用质心间最大距离原则选出k个质心;为提高大数据量下的K-Means聚类速度,提出用k-d树算法划分数据集实现操作算予并行化,设置多个TaskManager数目和CPU核数加速F-KMeans算法的执行.实验结果表明,较K-Means算法,F-KMeans算法的准确率提高了约3.6%;F-KMeans算法在DataSource耗时降低了45.45%,在其余阶段耗时平均降低了约28.57%.
数据分区、加速策略、性能优化、并行化、流式计算
40
TP391(计算技术、计算机技术)
国家自然科学基金项目61562086、61462079;新疆“万人计划”后备基金项目wr2015bj01;新疆维吾尔自治区高校科研基金项目XJEDU2017002
2020-01-11(万方平台首次上网日期,不代表论文的发表时间)
共6页
3437-3442