基于低秩分解的精细文本挖掘方法

摘要：

全文检索等应用要求对文本进行精细表示.针对传统主题模型只能挖掘文本的主题背景,无法对文本的侧重点进行精细描述的问题,提出一种低秩稀疏文本表示模型,将文本表示分为低秩和稀疏两部分,低秩部分代表主题背景,稀疏部分则是对主题中不同方面的关键词描述.为了实现文本低秩部分和稀疏部分的分解,定义了主题矩阵,并引入鲁棒性主成分分析(PCA)方法进行矩阵分解.在新闻语料数据集上的实验结果表明,模型复杂度比隐含狄利克雷分配(LDA)模型降低了25％.在实际应用中,将模型所得的低秩部分应用于文本分类,分类所需的特征减少了28.7％,能用于特征集的降维;将稀疏部分应用于全文检索,检索结果精确度比LDA模型提高了10.8％,有助于检索结果命中率的优化.

关键词：文本挖掘、主题背景、关键词、低秩分解

所属期刊栏目：34

分类号：TP311(计算技术、计算机技术)

在线出版日期：2014-07-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：1626-1630