一种基于SVM和规则消除组合型歧义的算法

摘要：

歧义的处理是影响分词系统切分精度的重要因素,也是中文自动分词系统中较为困难的问题.提出一种基于支持向量机(SVM)和规则(Rules)相结合的算法(SR算法),对中文分词过程中的组合型歧义字段进行排歧.SR算法主要思想是利用支持向量机分类的原理,结合词性搭配的一些规则排除组合型歧义.实验表明,用此算法对几种不同的语料进行排歧测试,排除组合型歧义字段的切分正确率可达83%左右,为解决中文自动分词难题提供了一条新路径.

关键词：自然语言处理、中文分词、组合型歧义、支持向量机、规则

所属期刊栏目：28

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金60173060

在线出版日期：2005-12-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：50-53