基于改进CHI和TF-IDF的短文本分类的研究

摘要：

为提高对数据量较少的短文本分类效果,有效降低特征空间的特征维度,本文针对传统CHI统计方法和TF-IDF权重计算方法的缺点,提出一种新的类词因子改进特征选择方法,用来提高分类准确性.对于传统CHI统计方法对低频词敏感、TF-IDF权重计算方法忽略特征项在类别间和类别内分布情况,通过引入类词因子来改进传统CHI统计方法和TF-IDF权重计算方法,并将两者结合使用,减少低频词带来的干扰.同时考虑类内和类间特征词分布的特殊情况,使用XG-Boost分类算法将提出方法用在数据量少且文本短的话题文本分类实验中,实验结果表明,与传统的CHI和TF-IDF方法相比,加入类词因子的特征选择方法提高了在平衡和非平衡语料集上的分类准确性,大幅度降低了对内存的占用.

关键词：文本分类、特征选择、XGBoost、卡方统计量、TF-IDF

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金41706198

在线出版日期：2021-07-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：6-11