基于字段过滤和伸缩窗口的SNM算法优化

摘要：

数据仓库中的问题数据对数据质量有较大的影响,为了查找和去除这些问题数据,首要的工作是处理相似重复数据,目前针对重复数据清除应用最多的算法是基本邻近排序算法(SNM).通过分析SNM算法的缺陷,提出了一种改进的SNM算法——ISNM.采用属性区分法计算属性权值,解决了人为主观赋予权值导致的问题;使用字段过滤算法计算2条记录的相似度,减少了窗口内记录属性的比对次数,加快了算法的检测速度;使用可变窗口代替固定大小的窗口,防止记录漏配并减少无用的记录比对.实验结果表明,改进后的ISNM算法在查全率、查准率和运行时间开销上有明显的优势.

关键词：数据质量、数据清洗、相似重复记录、SNM算法

所属期刊栏目：44

分类号：TP311(计算技术、计算机技术)

资助基金：江苏省重点研发计划BE2018301

在线出版日期：2022-04-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：699-706