基于输入样本和主数据的编辑规则挖掘算法

摘要：

基于编辑规则和主数据的数据修复技术能自动地、确切地修复不一致数据,但目前编辑规则的获取主要依靠专业人员的定义.为了实现数据清洗全自动化,数据规则的挖掘技术近年来成为研究热点,针对条件函数依赖提出的挖掘算法主要有CFDMiner,CTANE,FastCFD.在此基础上,扩展条件函数依赖(CFD)的定义,在编辑规则的定义下提出了一种基于输入样本和主数据的编辑规则挖掘算法,主要思路是从输入样本中挖掘出CFD,然后根据输入样本与主数据在属性上的定义域相似性求出输入样本在主数据中的对应属性,从而形成带模式组的编辑规则,此算法能有效地挖掘编辑规则.且所挖掘的编辑规则按照编辑规则语义能有效地进行数据修复.

关键词：编辑规则、条件函数依赖、数据清洗、等价类划分

所属期刊栏目：26

分类号：TP3;TN9

在线出版日期：2017-05-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：162-168