面向热点话题检测的增量文本聚类算法

摘要：

针对传统的Single-Pass聚类算法对数据输入顺序过于敏感和准确率较低的问题,提出一种以子话题为粒度,考虑新闻文本动态性、时效性和上下文语义特征的增量文本聚类算法(SP-HTD).首先通过解析LDA2Vec主题模型,联合训练文档向量和词向量,获得上下文向量,充分挖掘文本的语义特征及重要性关系.然后在Single-Pass 算法基础上,根据提取到的热点主题特征词,划分子话题,并设置时间阈值,来确认类簇中心的时效性,将挖掘的语义特征和任务相结合,动态更新类簇中心.最后以时间特性为辅,更新话题质心向量,提高文本相似度计算的准确性.结果表明,所提方法的F值最高可达89.3％,且在保证聚类精度的前提下,在漏检率和误检率上较传统算法有明显改善,能够有效提高话题检测的准确性.

关键词：Single-Pass、文本表示、文本聚类、文本相似度、热点话题检测

所属期刊栏目：31

分类号：TP391;G202;TP181

资助基金：国家社会科学基金18XYY010

在线出版日期：2022-09-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：280-286