基于非负矩阵分解的短文本特征扩展与分类

摘要：

针对短文本特征稀疏的问题,提出了一种基于非负矩阵分解的特征扩展方法(NMFFE).该方法只考虑数据自身,不借助外部资源进行短文本的特征扩展.首先,把文本及单词的内部关系考虑到文本和单词的关系矩阵分解中,通过双正则化非负矩阵三分解(DNMTF)方法获取词聚类指示矩阵;然后,对词聚类指示矩阵进行降维处理以获取特征空间;最后,根据单词之间的相关程度,从特征空间中选取特征并将其加入短文本中,从而解决短文本特征稀疏的问题,提高文本分类的准确率.实验数据表明,与BOW算法和Char-CNN算法中表现较优者相比,基于NMFFE算法的短文本分类的准确率分别在Web snippets,Twitter sports和AGnews数据集上提高了25.77％,10.89％ 和1.79％,这充分说明在分类准确率和算法鲁棒性方面,NMFFE算法优于BOW算法和Char-CNN算法.

关键词：短文本分类、特征扩展、非负矩阵分解、特征空间、相关性

所属期刊栏目：46

分类号：TP391(计算技术、计算机技术)

资助基金：广东省自然科学基金2018A030313061;广东省科技计划2017B030305003,2017B010124001;广东省产学研合作项目2017B090901005

在线出版日期：2020-01-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：69-73