基于最小词频阈值的文档特征选择

摘要：

为降低内容无关的特征词对文本分类系统的影响,在对与文本内容无关的特征词进行分析后发现:不相关特征词的词频普遍较低,利用最小词频阈值滤除低频特征可以明显降低无关特征的数量.为此,提出基于最小词频阈值的文档频评估函数.利用该函数选择特征可以有效减少与内容无关的噪声特征,改善分类质量.实验结果显示,几种基于最小词频阈值的文档频评估函数比基于普通文档频的评估函数的分类准确性有不同程度的改进,其中对互信息的改进最为显著,宏平均F1值比词频方法提高40%,比普通文档频方法提高15%～30%.

关键词：文本分类、特征选择、信息增益、互信息、x2统计

所属期刊栏目：19

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金项目60173027,60373077;福建省科技三项重点项目K04005

在线出版日期：2009-08-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：531-537