基于修正SVM-KNN组合算法的汉语专有名词自动抽取

摘要：

专有名词的自动抽取是文本挖掘、信息检索和机器翻译等领域的关键技术.本文研究了组合SVM和KNN两种分类器进行汉语专有名词自动抽取的方法.对样本在空间的不同分布使用不同的分类方法,当测试样本与SVM最优超平面的距离大于给定的阈值时使用SVM分类,否则使用KNN;在实际训练语料中,常常是负类样本数远多于正类样本数,而传统KNN方法对不平衡训练集存在敏感性,所以提出了用归一化的思想对传统的KNN方法进行修正.实验表明,用SVM与修正的KNN组合算法进行汉语专有名词抽取比单一的SVM方法以及原始的SVM-KNN方法更具优越性,而且这种方法可以推广到其他非平衡分布样本的分类问题.

关键词：KNN、SVM、专有名词抽取、不平衡数据

所属期刊栏目：30

分类号：TP3;TP1

资助基金：国家高技术研究发展计划863计划资助2008AA04Z107

在线出版日期：2011-08-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：610-617