结合主题词嵌入和注意力机制的主题模型

摘要：

社交软件的普及使得从海量数字文本中挖掘有效信息成为一个热点问题,经典主题模型LDA和LSA均基于单词共现来捕获主题信息,忽略了单词间的位置信息.为此,设计主题与单词间的注意力机制并将主题信息和单词信息融入到LDA框架中,构建一种主题模型JEA-LDA.该模型通过单词与主题间的注意力机制将单词信息和主题信息融合为特征表示,用于LDA模型的主题提取.实验结果表明,相比LDA、DMM等模型,该模型的主题一致性和分类性能均较高,能够取得更好的主题提取效果.

关键词：主题模型、单词嵌入、主题嵌入、注意力机制、LDA模型

所属期刊栏目：46

分类号：TP391(计算技术、计算机技术)

资助基金：南京邮电大学引进人才科研启动基金;南京邮电大学国家自然科学基金孵化项目

在线出版日期：2021-01-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：104-108