基于LD A的多特征融合的短文本相似度计算

摘要：

近年来,LDA(Latent Dirichlet Allocation)主题模型通过挖掘文本的潜在语义主题进行文本表示,为短文本的相似度计算提供了新思路.针对短文本特征稀疏,应用LDA主题模型易导致文本相似度计算结果缺乏准确性的问题,提出了基于LDA的多特征融合的短文本相似度算法.该方法融合了主题相似度因子ST(Similarity Topic)和词语共现度因子CW(Co-occurrence Words),建立了联合相似度模型以规约不同ST区间下CW对ST产生的约束或补充条件,并最终权衡了准确性更高的相似度结果.对改进后的算法进行文本聚类实验,结果表明改进后的算法在F度量值上取得了一定程度的提升.

关键词：LDA、主题模型、短文本相似度、主题相似度、词语共现度

所属期刊栏目：45

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金60443004 ,重庆市重大科技项目cstc2013jcsf-jcssX0020 ,重庆市基础科学与前沿技术研究计划项目cstc2015jcyjA40041

在线出版日期：2018-10-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：266-270