基于类别分布差异和特征熵的维吾尔语文本特征选择

摘要：

文本特征选择是在文本自动分类中最重要的一个环节。为了更好地解决维吾尔文文本分类中特征空间的高维性和文档表示向量的稀疏性问题, 提出一种基于特征的类别分布差异和信息熵的维吾尔文文本特征选择方法。该方法不仅要考虑特征在类别间的分布情况, 而且也要考虑特征在类别内的分布情况。采用本方法对维吾尔文文本语料进行了分类实验, 并与一些传统的特征选择方法进行了比较。从结果来看, 本方法在所选特征数更少的情况下, 达到了比其他方法更高的分类MacroF1值853%, 比传统的IG和CHI等方法在MacroF1值上分别高出了43%和61%。

关键词：特征选择、文本分类、特征熵、支持向量机、维吾尔语

所属期刊栏目：30

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目61063026, 61063043, 61163028, 61262060

在线出版日期：2013-11-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：2958-2961