基于Doc2Vec增强特征的长文本主题聚类研究

摘要：

针对新闻长文本语义表征的难点,基于Doc2Vec文档嵌入和词向量加权方式构建增强的特征表示.利用DV-sim方法和DV-tfidf方法从文档首尾部分特定词性的内容中提取增强特征,再分别与Doc2Vec文档向量组合,形成新的全局表征.DV-sim从语义角度,采用特征词与Doc2Vec向量的相似度获得词权重;DV-tfidf从词频统计角度,采用词频-逆文档频率方式获得词权重,然后利用HDBSCAN算法在THUCNews和Sogou数据集上进行主题聚类.相比直接应用Doc2 Vec向量,DV-sim在两个数据集上的噪声数分别减少60.82％和60.63％,准确率提高12.14％和20.58％,F1-Score值提高15.61％和11.58％;DV-tfifd在两个数据集上的噪声数分别减少15.20％和59.55％,准确率提高10.85％和17.93％,F1-Score值提高15.60％和9.21％.实验结果表明,DV-sim和DV-tfidf都可以提高主题聚类性能,且基于语义的增强特征比基于词频的效果更好,DV-sim在优秀女性人物报道的主题聚类上也得到了有效应用.

关键词：主题聚类、文本表征、Doc2Vec、词向量、HDBSCAN

所属期刊栏目：50

分类号：TP391(计算技术、计算机技术)

在线出版日期：2023-09-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：211-216