基于隐含语义分析的在线新闻话题发现方法

摘要：

互联网的飞速发展和海量数据的不断增长，使得如何快速、有效地识别当前新闻热点信息成为迫切需求。在线新闻话题发现已成为当前研究热点。对于在线环境下的新闻文本特征表示，传统向量空间模型随着数据的增长向量维度不断增长，使得数据稀疏和同名异议问题愈加明显，导致文本相似度难以准确度量。使用基于特征加权的隐含语义分析将高维、稀疏的词-文档矩阵映射到隐藏的k维语义空间，充分挖掘词、文档之间的语义信息，以提高同主题文档间的语义相似度，克服在线环境下文本稀疏性和同名异议问题。此外，对于不断增长的大规模新闻数据，传统聚类算法存在时间复杂度过高或者输入依赖等问题，难以快速、有效地得到理想结果。基于新闻报道在时间上的顺序性和相关性，提出改进的Single-pass在线增量聚类算法检测话题类，并引入话题热度值的概念来筛选当前关注度较高的热点话题。实验结果表明，该方法能够有效提高话题检测的准确率，实现基于真实新闻数据集的在线话题捕捉。

关键词：话题发现、向量空间模型、隐含语义分析、文本聚类、奇异值分解

所属期刊栏目：26

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金重点项目61003040,61100135,61302157

在线出版日期：2016-10-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：1-7