中文文本分类中的特征选择研究

摘要：

本文介绍和比较了八种用于文本分类的特征选择方法,其中把应用于二元分类器中的优势率改造成适用于多类问题的形式,并提出了一种新的类别区分词的特征选择方法,结合两种不同的分类方法:文本相似度方法和Nave Bayes方法,在两个不同的数据集上分别作了训练和测试,结果表明,在这八种文本特征选择方法中,多类优势率和类别区分词方法取得了最好的选择效果.其中,当用Nave Bayes分类方法对各类分布严重不均的13890样本集作训练和测试时,当特征维数大于8000以后,用类别区分词作特征选择得到的宏F1值比用IG作特征选择得到的宏F1值高出3%～5%左右.

关键词：计算机应用、中文信息处理、文本分类、特征选择、类别区分词

所属期刊栏目：18

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金60003014,60171037

在线出版日期：2004-06-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：17-23