一种基于Pitman-Yor过程模型的不平衡文本数据集聚类算法

摘要：

在现实生活中,文本数据集的结构常常体现不平衡性,不同类别的文本数量存在较大差异,既包含极大的多样本类,也包含极小的多少样本类.传统的文本聚类方法,对于极大类存在分配偏见,使得极大类更容易吸引新的文本数据的加入.因此,如何找到这种不平衡文本数据集的文本结构,是文本聚类分析的一个需要被切实解决的难点问题.针对这一问题,论文创新地提出了一个基于Pitman-Yor过程模型的文本聚类算法,命名为参数自适应PYP(Discount Adaptation Pitman-Yor process,DAPYP)模型.该模型在文本聚类的过程中,依据各样本类别的文本数量,自动调整PYP(Pitman-Yor Process)的折扣参数.实现了从不平衡数据集中识别出极小类和极大类.通过在人工数据集和真实文本数据集上进行的实验,表明该文提出的模型可以有效地解决真实文本数据集聚类分析中的数据不平衡问题.

关键词：文本聚类、不平衡数据集、Pitman-Yor过程

所属期刊栏目：45

分类号：TP312(计算技术、计算机技术)

资助基金：国家自然科学基金61462011,61202089;高等学校博士学科专项科研基金20125201120006;贵州大学引进人才科研项目2011015;贵州大学研究生创新基金研理工2016052

在线出版日期：2017-04-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：311-318