面向中文全文索引的中文分词策略

摘要：

中文分词是中文信息化处理的基础环节.在中文全文索引中,中文分词更起着举足轻重的作用.该文首先比较了常见的中文分词算法,最后选用了综合性能较优的分词算法—基于词频统计的匹配分词,引入全文索引的开源项目Lucene中.通过与传统的机械分词对比,发现使用基于词频统计的匹配分词的全文索引,不但大大节省索引空间,而且显著地提高了检索的质量.

关键词：中文全文索引、中文分词、Lucene

所属期刊栏目：8

分类号：TP391(计算技术、计算机技术)

在线出版日期：2012-04-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：722-726