基于词序方法的文本相似度计算模型

摘要：

针对传统向量空间模型对文本相似度的计算未考虑词序导致偏差的问题,提出使用马尔可夫模型的状态转移矩阵、两两文本的最长公共子序列以及它们的所有公共子串信息来描述词序信息,在此基础上提出一种将马尔可夫状态转移矩阵、最长公共子序列、公共子串和TF-IDF相结合,兼顾词序和词频信息的文本相似度计算方法,并使用英文TREC-9的部分数据集对基于词序方法的文本相似度计算方法进行了测试.试验结果表明:在同等分词及评估条件下,基于词序方法的文本相似度计算结果的准确率相对于单纯采用传统的基于向量空间模型的TF-IDF方法提高了5%～15%.

关键词：文本相似度、词序、向量空间模型、TF-IDF方法

所属期刊栏目：27

分类号：O21;TP3

资助基金：国家自然科学基金重点基金 70431001

在线出版日期：2008-12-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：857-862