一种高效中文文本聚类算法

摘要：

文本聚类算法面临着文本向量高维和极度稀疏的问题,传统降维方法多数是在假设关键词相互独立的前提下,通过统计的方法进行特征提取,这种方法往往忽略了文本在上下文语境中的语义关系,导致文本语义大量丢失.利用《知网》知识库,通过计算语义类相似度,构建了带权值的多条词汇链,根据权值大小,从中选取权值最大和次大的前两个词汇链组成代表文本的关键词序列,在此基础上提出了基于主题词汇链的文本聚类算法—TCABTLC,不但可以解决文本向量高维和稀疏导致的聚类算法运行效率低的问题,而且得到了较好的聚类效果.实验表明,在保持较好准确率下,该聚类算法的时间效率得到了大幅度提高.

关键词：知网、向量模型、词汇链、文本聚类

所属期刊栏目：35

分类号：TP391(计算技术、计算机技术)

资助基金：江苏省教育厅高校哲学社会科学项目2012SJD870001;淮安市科计划资助项目SN1160

在线出版日期：2013-04-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：103-108