DOLDA模型设计与主题演化分析

摘要：

为解决OLDA模型挖掘大规模文档主题时计算效率低下和不能发现新主题的问题,提出一种分布式的DOLDA模型(distribute online LDA,DOLDA).建立分布式矩阵存储主题-词项,设计一种动态负载均衡策略来提升计算速度和线程调度的性能,根据Zipf定律结合主题的遗传度提出一种文档权值设置方法.在Spark分布式计算平台的实验结果表明,相比OLDA模型,DOLDA模型能够提高近16％的加速比,有效地在线分析主题的演化.

关键词：主题挖掘、分布式计算、在线的潜在狄利克雷分布模型、动态负载均衡、主题演化

所属期刊栏目：39

分类号：TP301.6(计算技术、计算机技术)

资助基金：吉林省自然科学基金项目20130101060JC;吉林省教育厅“十二五”科学技术研究基金项目2014131、2014125

在线出版日期：2018-05-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：446-451,485