Web文档分类中TFIDF特征选择算法的改进

摘要：

随着海量数据资源在网络中的出现,Web文档分类技术越来越受到重视.在Web文档分类的研究中,特征选择算法有着重要的研究意义.特征选择能有效降低文本向量空间模型的维度,从而构造出更快,消耗更低的预测模型.传统的TFIDF算法仅仅依靠文档中所包含特征词的词频和逆文档频率来判断该特征词对于文档分类的重要性,忽略了特征项在类内和类间的分布以及数据集不均衡现象,从而效果受到制约.针对存在的不足进行改进,提出了类内分布因子以及类间分布因子.基于类内以及类间因子,替代逆文档频率,可以使得改进的表达式能够选择出更加高效的特征词.通过使用SVM分类器进行文本分类对比实验,与改进前的方法相比,该方法能使F1值得到一定程度的提高,在不均衡数据集上同样具有较好的分类效果.

关键词：Web文档分类、特征选择、TFIDF算法、SVM

所属期刊栏目：29

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家自然科学基金61101202

在线出版日期：2019-06-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：49-53