一种基于狄利克雷过程混合模型的文本聚类算法

摘要：

随着互联网的普及，论坛、微博、微信等新媒体已经成为人们获取和发布信息的重要渠道，而网络中的这些文本数据，由于文本数目和内容的不确定性，给网络舆情聚类分析工作带来了很大的挑战。在文本聚类分析中，选择合适的聚类数目一直是一个难点。文章提出了一种基于狄利克雷过程混合模型的文本聚类算法，该算法基于非参数贝叶斯框架，可以将有限混合模型扩展成无限混合分量的混合模型，使用狄利克雷过程中的中国餐馆过程构造方式，实现了基于中国餐馆过程的狄利克雷混合模型，然后采用吉布斯采样算法近似求解模型，能够在不断的迭代过程中确定文本的聚类数目。实验结果表明，文章提出的聚类算法，和经典的K-means聚类算法相比，不仅能更好的动态确定文本主题聚类数目，而且该算法的聚类质量（纯度、F-score和轮廓系数）明显好于K-means聚类算法。

关键词：文本聚类、狄利克雷过程混合模型、非参数贝叶斯、吉布斯采样

分类号：TP309(计算技术、计算机技术)

资助基金：国家科技支撑计划[2012BAH18B05]；国家自然科学基金61272447

在线出版日期：2015-11-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：60-65