一种具有降噪能力的概率主题模型

摘要：

大数据时代的到来使得文本数据的数据量暴增,因此准确而高效地识别和分析文本数据的潜在结构变得越来越重要.要从海量的数据中挖掘模式和知识,需要借助于强大的计算工具,所以机器学习科学家提出了概率主题模型.当前,以隐含狄利克雷分布(LDA)模型为代表的经典概率主题模型已经被广泛地应用到数据挖掘的各个方面.由于LDA模型对区分相似主题的能力非常差,影响了LDA的实际应用性能,为解决这一重要问题,论文基于LDA模型提出了一种名为NRLDA的新模型.考虑到相似主题的文本中存在大量的对区分不同主题没有贡献的噪音词语,在NRLDA中引入了相关变量来区分有用词和噪音词,使噪音词从一个噪音主题的词分布中产生,而有用词从多个特征主题的词分布中产生,从而削弱噪音词所带来的不良影响.此外,我们还使用吉布斯抽样方法对NRLDA的参数进行了推断,这些参数对分析文本数据中潜藏的结构有至关重要的作用.实验结果表明我们的NRLDA模型有较强的区分相似主题的能力,这同时也验证了我们建模思想的正确性.

关键词：概率主题模型、隐含狄利克雷分布、吉布斯抽样、降噪

所属期刊栏目：45

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金项目61540050,61462011;贵州省重大应用基础研究项目黔科合JZ字[2014]2001;贵州省科技厅联合基金黔科合LH字[2014]7636号;贵州大学研究生创新基金项目研理工2016051

在线出版日期：2017-04-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：367-372