基于数据仓库的相似重复记录的识别与检测

摘要：

清除相似重复记录首先需要识别出标识同一个实体的相似重复记录,主要有两种方法:一种通过比较记录对应的整个字符串之间的相似度来决定记录是否表示现实中同一实体;另一种则以记录中的字段为基础进行匹配.先设定一个文本相似度,然后利用记录间的文本相似度来判定两条记录是否相似,如果两条记录的文本相似度大于某个预先指定的阀值,则判定这两条记录是重复的,反之亦然.

关键词：嵌套循环法(NL)、多趟邻近排序法(MPN)、位置编码法(PCM)、记录分组法(RGM)

所属期刊栏目：39

分类号：TP391(计算技术、计算机技术)

在线出版日期：2011-06-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：30-35