一种基于类别描述的TF-IDF特征选择方法的改进

摘要：

[目的]对特征权重公式进行改进,提高文本分类精度.[方法]引入类内、类间信息并修正TF-IDF权重因子,得到基于类别描述的TF-IDF-CD方法.将其在偏斜文本集和均衡文本集下分别与NB、KNN等分类方法结合进行文本分类实验,比较其与TF-IDF、CTD等方法的分类精确度.[结果]TF-IDF-CD方法在特征项较少时已有很好分类效果.相比TF-IDF,在不同文本集以及不同分类方法下,其平均分类精度均有大幅提高,最低为14％,最高可达30％.与CTD相比,TF-IDF-CD与NB、SVM及DT结合后的平均分类精度均有1％-13％的提高.而在非均衡文本集下,TF-IDF-CD与KNN结合时其性能比CTD与KNN结合时低2％.[局限]TF-IDF-CD与对文本集不均衡性较敏感的KNN结合时,其抗数据偏斜能力仍需改善.[结论]实验结果表明,TF-IDF-CD特征选择方法有效,对TF-IDF的改进具有一定借鉴意义.

关键词：文本分类、特征选择、TF-IDF、类别描述

分类号：TP391(计算技术、计算机技术)

资助基金：本文系北京市教委科技发展计划基金项目“云计算模式下移动互联网动态云安全关键技术研究”项目编号:KM201311232010、国家自然科学基金项目“基于资源标签交换的无线网络端到端能效管理策略研究”项目编号:61271198和国家自然科学基金项目“LTE-A飞蜂窝系统的动态资源分配与性能评价研究”项目编号:61370065的研究成果之一.

在线出版日期：2015-04-23（万方平台首次上网日期，不代表论文的发表时间）

页码：39-48