10.3969/j.issn.1001-3695.2017.01.031
基于长度过滤和动态容错的SNM改进算法
数据仓库中相似重复记录的清洗对于数据质量影响很大,传统的基本邻近排序算法(sorted-neighbor-hood method,SNM)时间效率和准确率均不高。针对SNM算法的缺陷,提出了一种基于长度过滤和动态容错的SNM改进算法。根据两条记录的长度比例和属性缺失情况,首先排除一部分不可能构成相似重复记录的数据,减少比较次数,提高检测效率;进一步提出了动态容错法,校准字段相似度评判结果,解决了因属性缺失而误判的问题,提高了准确率。针对实际数据集的实验分析表明,在相同的运算环境下,优化算法在准确率和时间效率上有明显优势。
数据清洗、相似重复记录、SNM算法、动态容错、字段匹配
34
TP391.1(计算技术、计算机技术)
新疆维吾尔自治区青年科技创新人才培养工程基金资助项目2014721033;乌鲁木齐高新区发展扶持基金资助项目2013038
2017-01-17(万方平台首次上网日期,不代表论文的发表时间)
共5页
147-150,155