基于CBOW-LDA主题模型的Stack Overflow编程网站热点主题发现研究

摘要：

Stack Overflow是一个热门的国外编程问答网站,通过对该网站编程提问帖的问题文本进行文本语义挖掘,能获析用户关注的编程热点.由于研究对象所代表的短文本信息具有高维性及分布不均的特点,易导致主题获取不明晰.文中提出一种基于LDA(Latent Dirichlet Allocation)主题模型的CBOW-LDA建模方法,该方法对目标语料进行相似词聚类后再完成主题建模,能有效降低文本输入维度,使主题分布更明确.采集Stack Overflow网站上2010-2015年的问题帖数据集POST,并对其进行实验,同等主题数下采用文本建模中衡量模型性能的评价指标困惑度(Perplexity)来度量算法在不同数据集容量维度下的性能.结果表明,与现有的基于词频权重的词量化主题建模TF-LDA方法相比,CBOW-LDA方法的困惑度更低,在实验语料下的困惑度降低约4.87％,证明了所提算法的性能更好.采用CBOW-LDA方法对Stack Overflow进行热点挖掘,同时使用TF-LDA方法进行对比实验,建立手工标注的标准评测集对两种方法获取的热门主题和热搜词汇进行查全率、查准率及F1值的判定,结果证实CBOW-LDA表现更佳,其热点挖掘效果较好.由实验结果可知,Java为该编程网站提问帖中最热门的主题,而C和Javascript则为该网站用户提问中被提及得最频繁的词汇.

关键词：Stack Overflow、LDA-CBOW语言模型、主题发现、热门主题、困惑度

所属期刊栏目：45

分类号：TP391(计算技术、计算机技术)

资助基金：国家科技支撑计划2012BAH01F02

在线出版日期：2018-06-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：208-214