基于情节记忆的高效短文本流聚类算法

摘要：

现有基于相似度的短文本流聚类算法多数需要手动设置相似度阈值,且难以处理文本稀疏性问题.针对短文本流的特点和传统流聚类算法的局限性,提出基于情节记忆的短文本流聚类算法.将情节记忆思想融入流聚类算法,通过稀疏经验重放增强聚类的特征表示,并使用反向索引提高聚类效率.在线阶段通过新的相似度计算公式以及动态计算相似度阈值,将当前文本分配到现有集群或新集群,并且不断更新聚类特征.离线阶段通过聚类增强、语义再分配以及删除过时聚类,提高整体算法性能.基于公开和合成数据集的实验结果表明,相较于基准流聚类算法,所提算法在各项评价指标上均取得了较好的实验结果,并且对于文本数量较大的数据集,运行时间能减少1～3个数量级.

关键词：文本流聚类、短文本流、情节记忆、主题演化、文本特征

所属期刊栏目：49

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金;重庆市自然科学基金面上项目;重庆市自然科学基金面上项目;重庆市教委科学技术研究项目

在线出版日期：2023-10-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：145-153