文本分类特征权重改进算法

摘要：

TF-IDF是一种在文本分类领域获得广泛应用的特征词权重算法,着重考虑了词频与逆文档频等因素,但无法把握特征词在类间与类内的分布情况.为提高在同类中频繁出现、类内均匀分布的具有代表性的特征词权重,引入特征词分布集中度系数改进IDF函数、用分散度系数进行加权,提出TF-IIDF-DIC权重函数.实验结果表明,基于TF-IIDF-DIC权重算法的K-NN文本分类宏平均F1值比TF-IDF算法提高了6.79%.

关键词：向量空间模型、文本分类、特征权重、特征分布

所属期刊栏目：36

分类号：TP391(计算技术、计算机技术)

资助基金：安徽省高校省级自然科学基金资助项目KJ2008B120

在线出版日期：2010-06-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：197-199,202