基于SVM和词间特征的新词识别研究

摘要：

中文分词的难点在于处理歧义和识别未登录词,因此对新词的正确识别具有重要作用.文中结合提出的新词词间模式特征以及各种词内部模式特征,对从训练语料中抽取正负样本进行向量化,通过支持向量机的训练得到新词分类支持向量.对测试语料结合绝对折扣法进行新词候选的提取与筛选,并与训练语料中提取的词间模式特征以及各种词内部模式特征进行向量化,得到新词候选向量,最后将训练语料中得到的新词分类支持向量以及对测试语料中得到的新词候选向量结合进行SVM测试,得到最终的新词识别结果.

关键词：自然语言处理、支持向量机、新词识别、词间特征

所属期刊栏目：22

分类号：TP301(计算技术、计算机技术)

资助基金：国家自然科学基金项目2002AA117010-07;内蒙古师范大学校基金GCRC09001,ZRYB08018

在线出版日期：2012-07-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：134-136,140