结合优化的文档频和PA的特征选择方法

摘要：

特征空间的高维特点限制了分类算法的选择,影响了分类器的设计和准确度,降低了分类器的泛化能力,从而出现分类器过拟合的现象,因此需要进行特征选择以避免维数灾难.首先简单分析了几种经典特征选择方法,总结了它们的不足;然后给出了一个优化的文档频方法,并用它过滤掉一些词条以降低文本矩阵的稀疏性;最后应用模式聚合(PA)理论建立文本集的向量空间模型,从分类贡献的角度强化词条的作用,消减原词条矩阵中包含的冗余模式,从而有效地降低了向量空间的维数,提高了文本分类的精度和速度.实验结果表明此种综合性特征选择方法效果良好.

关键词：特征选择、文本分类、词频、文档频、模式聚合

所属期刊栏目：27

分类号：TP301(计算技术、计算机技术)

资助基金：四川省科技计划资助项目2008GZ0003

在线出版日期：2010-03-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：36-38