基于LDA主题模型的短文本分类

摘要：

针对传统VSM(vector space model)在短文本分类中维数高、语义特征不明显的问题,提出基于LDA(latent Dirichlet allocation)模型主题分布相似度分类方法;针对短文本内容少、长度短、特征稀疏的问题,提出基于LDA模型主题-词分布矩阵的主题分布向量改进方法.与传统VSM分类方法相比,该方法降低了相似度计算维度,融合了一定语义特征.实验结果表明,与传统VSM分类方法相比,基于主题分布相似度方法的平均F1值提高了4.5%,基于LDA模型主题-词分布矩阵主题分布向量改进方法的平均F1值提高了5.2%,验证了以上方法的有效性.

关键词：潜在狄利克雷分布(LDA)、向量空间模型(VSM)、短文本分类、K近邻(K-nearestneighbor)、吉布斯采样、相似度计算

所属期刊栏目：37

分类号：TP302.7(计算技术、计算机技术)

资助基金：国家自然科学基金项目 61365005、60965002

在线出版日期：2017-01-05（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：3371-3377