一种改进的统计与后串最大匹配的中文分词算法研究

摘要：

在比较各种传统分词方法优缺点的基础上,本文提出了一种新的分词算法.它采用改进的双向Markov链统计方法对词库进行更新,再利用基于词典的有穷自动机后串最大匹配算法以及博弈树搜索算法进行分词.实验结果表明,该分词算法在分词准确性、效率以及生词辨识上取得了良好的效果.

关键词：正向最大前串匹配、逆向最大前串匹配、统计法、有穷自动机

所属期刊栏目：30

分类号：TP391(计算技术、计算机技术)

资助基金：国家863计划资助项目2006AA04Z131

在线出版日期：2008-10-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：79-82