基于特征加权的分布式大数据相关性挖掘方法

摘要：

针对传统方法存在计算时间较长,任务分配均匀程度较差的问题,提出基于特征加权的分布式大数据相关性挖掘方法.对软子空间进行聚类,根据特征加权的不确定性表示加权聚类中心,并求解权值.设计特征选择的技术框架对特征加权进行选择,依据特征空间搜索机制完成特征筛选.根据特征筛选结果运用MapReduce编程模型对数据簇的聚类中心进行反复扫描,计算样本到聚类中心的距离,去除其中的孤立点.利用Shuffle均衡分组机制计算频繁项集,开始新项的FP树建立及频繁项集挖掘,直至完成所有频繁项集的挖掘.实验结果表明,所提方法的挖掘时间低于传统方法,并且任务分配均衡性较高,说明上述方法具有一定的应用价值.

关键词：特征加权、分布式大数据、相关性挖掘、软子空间聚类、任务分配

所属期刊栏目：38

分类号：TP391(计算技术、计算机技术)

资助基金：国内访问学者项目;教学改革项目

在线出版日期：2021-07-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：282-285,372