基于维基百科的多种类型文献自动分类研究

摘要：

[目的]通过基于维基百科的特征扩展解决由于不同类型文献而产生的特征不匹配等问题,以提高文本分类效果.[方法]在特征扩展之前,对TF-IDF加以改进,提出并使用一种新的特征选择方法CDFmx-IDF获得候选词集;在使用维基百科进行特征扩展时,通过分别计算直接链接关系、类别关系、间接链接关系三类词语间关系并进行融合得到词语间的语义相关度实现特征扩展;针对扩展得到的特征,提出一种改进的LDA概率主题模型wLDA模型进行文本建模.[结果]本文提出的方法分别在朴素贝叶斯、KNN和SVM三种分类器上实现分类,其marco-F1和micro-F1分别提升1.6％-2.8％和1.4％-2.7％.[局限]尚未考虑特征词本身及特征词间的相互联系,比如特征词本身的词性、出现在单篇文档中的位置、特征词间的共现关系等因素对特征词权重的影响.[结论]通过多种对比研究证明了使用基于维基百科的特征扩展方法对特征词扩展的有效性,提高了多种类型文献的自动分类效果.

关键词：多种类型文献、文本分类、特征选择、特征扩展、维基百科

分类号：TP393;G35(计算技术、计算机技术)

资助基金：国家社会科学基金项目“多种类型文本数字资源自动分类研究”项目15BTQ066的研究成果之一

在线出版日期：2017-12-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：43-52