基于全文检索的Segrnenter分词算法改进

摘要：

流行的Segmenter分词算法是开放的java源代码,它是一个很好的分词工具.但是,在全文检索系统中对分词有特殊的要求,例如歧义包容、专业词典等.所以在这里将Segmenter词典和算法都进行了改进.建立了树状词典,在匹配算法中使用了歧义包容法则、分支处理、动态规划和词库预载入,以适应电子商务案例全文检索系统.

关键词：分词、全文检索、树形词典、歧义包容、分支处理、动态规划、词库预载入

所属期刊栏目：5

分类号：TP391(计算技术、计算机技术)

资助基金：江苏省教育厅自然科学基金项目07KJB510068

在线出版日期：2009-04-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：202-205