MapReduce框架下基于字符串波形的实体识别方法

摘要：

在云计算平台下需要读取大量数据进行分析,数据中大量指代同一实体的重复数据给数据的分析和处理带来了困难.基于数据记录间的相似度进行聚类分析是目前实体识别的主要方法之一,但其耗时较长,而且不适用于云计算环境.给出了一种能够很好地利用云计算特点的基于字符串波形的实体识别方法.该方法首先统计字符频率,按照字符频率的大小生成字符串的波形,再利用基于波形的过滤性质加快相似度的计算,进行基于相似度的聚类.理论分析和通过真实数据得出的实验结果都表明了这种方法的正确性和有效性.

关键词：云计算、MapReduce、字符串波形、实体识别

所属期刊栏目：5

分类号：TP391(计算技术、计算机技术)

资助基金：The National Natural Science Foundation of China under Grant No.61003046,60831160525;the Key Program of the National Natural Science Foundation of China under Grant No.60933001;the Postdoctoral Science Foundation of China under Grant No.201003447;the Specialized Research Fund for the Doctoral Program of Higher Education of China under Grant No.20102302120054;the Development Program for Outstanding Young Teachers in Harbin Institute of Technology under Grant No.HITQNJS.2009.052

在线出版日期：2011-12-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：730-739