结合语义和结构的短文本相似度计算

摘要：

短文本相似度不仅包括语义相似度,还包括语法相似度.目前在短文本相似度度量算法中,大多只分析短文本语义层次的相似性,往往忽略了短文本的语法结构对短文本相似度的重要影响,导致无法捕获大量的文本语义信息,同时在短文本分类任务中召回率不够理想.通过分析短文本的特征,将EMD(earth mover's distance)求解线性规划中运输问题的最优解应用于度量两个短文本的相似度,用Word2Vec度量两个单词的语义相似性,提出了词序位置相似度的概念,即在计算短文本相似度的同时考虑语句词组顺序对相似度的贡献.实验结果表明,在捕获大量文本语义信息的基础上,将算法应用于k近邻(k-nearest neighbor,KNN)文本分类中,有较好的准确率和召回率.

关键词：EMD、Word2Vec、短文本相似度计算、语义相似度、词序结构

所属期刊栏目：28

分类号：TP181(自动化基础理论)

资助基金：2015年教育部-中国移动科研基金项目5-10;江苏省自然科学基金面上项目BK20171447;江苏省高校自然科学研究面上项目17JKB520024

在线出版日期：2018-09-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：104-108,113