基于奇异值分解的新闻标题聚类研究

摘要：

汉语分词技术和文本聚类是自然语言处理的重要环节,在文本信息的组织、摘要和导航中应用广泛.文本聚类作为一种无监督学习算法,其依据是聚类假设:同类的文档相似程度大,不同类的文档相似程度小.文中主要研究汉语文本聚类算法在新闻标题类文本中的应用.首先对采集到的若干条新闻标题进行分词和特征提取,将分词后的文本转化为词条矩阵;然后使用TF-IDF技术处理词条矩阵,得到基于分词权重的新的词条矩阵,对新的词条矩阵进行奇异值分解,得到主成分得分矩阵,提取主成分分析文本特征并根据主成分得分矩阵进行K-均值和分层聚类分析;最后将聚类结果用词云图的形式展示出来并评价聚类效果的好坏.实证显示,对词条矩阵的奇异值分解能降低向量空间的维数,提高聚类的精度和运算速度.

关键词：汉语分词、词云图、奇异值分解、潜在语义分析、K-means聚类

所属期刊栏目：30

分类号：TP31(计算技术、计算机技术)

资助基金：上海市大学生创新训练项目201810273116

在线出版日期：2020-03-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：42-46