基于最大间隔马尔可夫网模型的汉语分词方法

摘要：

分词是汉语自然语言处理研究中非常重要的一个环节,在早先的研究中,最大熵模型和条件随机场(CRF)模型已经广泛运用到汉语自动分词的工作中.最大间隔马尔可夫网(M3N)模型是近年来由B.Taskar等~([1])人提出的一种新型结构学习模型.该文尝试将这一模型用于汉语分词建模并进行实验,实验结果显示,基于给定的训练语料与测试语料,分词精度可以达到95%,表明基于最大间隔马尔科夫网的汉语分词方法可以取得较高的分词精度,是一种有效的汉语分词方法.

关键词：计算机应用、中文信息处理、最大间隔马尔可夫网模型、汉语分词、机器学习

所属期刊栏目：24

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目60975054,60303003;国家社会科学基金资助项目06BYY048

在线出版日期：2010-04-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：8-14