一种中文地址类相似重复信息的检测方法

摘要：

数据仓库中相似重复记录的识别与消除是数据清洗的热点问题,其中地址类信息对相同实体识别起着非常重要的作用.针对中文地址类信息的处理,建立了包含分词规则的元数据库,提出一种相似重复检测模型.在此基础上,描述了基于特征字符的分词算法和利用可变权值策略计算记录相似度的算法.实验结果表明该方法能有效解决中文地址类重复信息的检测,提高了算法的执行效率及检测精度.

关键词：相似重复记录、中文地址、特征字符、分词、可变权值

所属期刊栏目：29

分类号：TP311(计算技术、计算机技术)

资助基金：辽宁省自然科学基金20052007

在线出版日期：2008-05-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：726-729