非平衡数据集中的特征选择方法和三支分类算法研究

摘要：

针对传统的特征选择方法在非平衡数据集中分类效果不理想的问题,提出了一种适合非平衡数据分类的改进特征选择方法.该方法将集中度和分散度相结合,同时考虑到在文本长短不一时词频对文本分类的作用,得到一种新的词频归一化方法,实现了对传统特征提取方法的改进.另一方面,将三支决策思想引入到朴素贝叶斯算法,得到了NB-三支决策分类算法,并将该算法应用到非平衡数据集的分类.通过两组实验对比结果表明:改进特征选择方法较CHI和IG方法,处理非平衡度高的数据集分类效果较好;选取相同的特征选择方法和数据集,NB-三支分类器比NB-分类器的分类效果好.选用本文提出的改进特征选择方法和NB-三支分类器,在处理非平衡度高且文本长短不一的数据集时,分类效果有一定提升.

关键词：文本分类、非平衡数据集、特征提取、三支决策、朴素贝叶斯算法

所属期刊栏目：46

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金61502149

在线出版日期：2018-12-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：66-72