基于改进CHI和PCA的文本特征选择

摘要：

针对文本数据中含有大量噪声和冗余特征,为获取更有代表性的特征集合,提出了一种结合改进卡方统计(ICHI)和主成分分析(PCA)的特征选择算法(ICHIPCA).首先针对CHI算法忽略词频、文档长度、类别分布及负相关特性等问题,引入相应的调整因子来完善CHI计算模型;然后利用改进后的CHI计算模型对特征进行评价,选取靠前特征作为初选特征集合;最后通过PCA算法在基本保留原始信息的情况下提取主要成分,实现降维.通过在KNN分类器上验证,与传统特征选择算法IG、CHI等同类型算法相比,ICHIPCA算法在多种特征维度及多个类别下,实现了分类性能的提升.

关键词：文本分类;PCA;CHI;降维;特征选择

所属期刊栏目：43

分类号：TP391(计算技术、计算机技术)

在线出版日期：2021-09-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：1645-1652