基于词向量的文本特征选择方法研究

摘要：

文本分类的效果依赖于文本特征选择的好坏.传统的特征选择方法,利用特征的词频或者特征与类别的关系,进行特征选择.不仅没有考虑特征的语义,而且大多只能用于标注数据集的特征选择.本文提出 LDA 词向量特征选择方法和Word2vec词向量特征选择方法,分别在主题空间和词语上下文关系上,学习特征的语义,进行特征选择.语料经特征选择后,利用向量空间模型进行分类.在复旦语料上的实验结果表明,基于词向量的特征选择分类效果相对于传统的特征选择得到了改善.并且,基于词向量的特征选择是一种无监督的方法,无需标注类别信息.

关键词：特征选择、LDA、Word2vec、词向量、文本分类

所属期刊栏目：39

分类号：TP311(计算技术、计算机技术)

资助基金：工业互联网网络架构基础共性和关键技术标准试验验证项目资助

在线出版日期：2018-07-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：991-994