一种基于类别分布信息的文本特征选择模型

摘要：

TF-IDF是一种常用的文本特征选择方法.基于该模型的特征选择思想,以特征项的类内分布、类间分布信息为依据,通过引入类内分布及类间分布权重因子对模型的TF及IDF部分进行加权,提出一种基于类别分布信息的文本特征选择模型.新模型使得TF部分含有类内文本频数信息,同时IDF部分含有特征项的类间频数信息.随后的文本分类试验表明,平均查全率、查准率分别提高6.4％、7.8％,F1值提高约7％,验证了本研究提出的基于类别分布的文本特征选择模型的有效性.

关键词：文本分类、特征选择、TF-IDF、类内分布、类间分布

所属期刊栏目：57

分类号：G350(情报学、情报工作)

资助基金：国家自然科学基金"直觉模糊聚类理论及其应用"71071161;江苏省自然科学基金"模糊语言模型研究"BK2012511

在线出版日期：2013-11-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：137-141