10.3969/j.issn.1000-1220.2004.12.027
一种基于条件概率分布的近似重复记录检测方法
数据集成往往会形成一些近似重复记录,如何检测重复信息是数据质量研究中的一个热门课题.文中提出了一种高效的基于条件概率分布的动态聚类算法来进行近似重复记录检测.该方法在评估两个记录之间是否近似等价的问题上,解决了原来的算法忽略序列结构特点的问题,基于条件概率分布定义了记录间的距离;并根据近邻函数准则选择了一个评议聚类结果质量的准则函数,采用动态聚类算法完成对序列数据集的聚类.使用该方法,对仿真数据进行了聚类实验,都获得了比较好的聚类结果.
信息集成、近似重复记录、动态聚类、概率后缀树
25
TP391.1(计算技术、计算机技术)
中国科学院资助项目60103009
2005-01-04(万方平台首次上网日期,不代表论文的发表时间)
共5页
2164-2168