改进的数据预处理算法及其应用

摘要：

聚类分析是数据挖掘领域一项重要的课题. 针对重复数据与孤立数据的预处理可以优化聚类结果. 重复数据处理方面,文中在传统的重复数据查找算法SNM的基础上加入了伸缩窗口与变化移动速度的思想,提高了查找的准确率与效率;孤立数据方面,文中提出基于层次聚类分簇搜寻算法,算法利用层次聚类将数据分成独立的簇再依次搜寻孤立点提高了查询速率,并加入恢复检验的部分恢复被误删的非孤立点提高查找的准确率. 实验仿真中,首先抽取部分数据验证了改进后的数据预处理算法的准确性,然后将数据预处理算法用于处理移动用户消费数据后再对数据进行聚类分析,从而达到对客户的归属地信息识别的目的. 实验结果表明,文中提出的预处理算法具有很高的准确率与效率.

关键词：数据预处理、SNM算法、层次聚类、聚类分析

所属期刊栏目：25

分类号：TP301.6(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目61373135;江苏省高校自然科学研究重大项目12KJa52003;南京邮电大学大学生科技创新训练计划STITP201410293023Z

在线出版日期：2016-01-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：143-146,151