10.3969/j.issn.1000-7024.2012.10.072
基于上下文感知的中文新词识别算法
为提高中文信息处理中的新词识别效率,提出一种基于上下文感知的新词识别算法.首先基于网络新词的特点,对网络文本进行N元(N-Gram)切分预处理,然后利用局部匹配预测(PPM)算法对中文新词进行识别,最后采用LRU替换算法对识别出的新词进行入库处理.实验表明,较之当今几个主流的分词机制,该算法具有较高的识别率和召回率.
中文信息处理、中文新词识别、局部匹配预测算法、上下文感知、N元算法、语料库
33
TP391.1(计算技术、计算机技术)
河南自然科学基金项目2010A520039、2010B520035
2013-01-09(万方平台首次上网日期,不代表论文的发表时间)
共6页
4022-4027