基于语义相似度的话题关联检测方法

摘要：

为有效识别任意两篇报道的相似性，提出了一种基于语义相似度的话题关联检测算法。该算法首先通过计算特征词之间的相对熵作为两篇报道中特征词之间的语义相似度；其次，通过计算平均语义相似度获得特征词和报道之间的关联度；最后，结合特征词在语料库中的TF-IF（term frequency-inverse document frequency）权重计算两篇报道之间的关联度，实现报道之间的关联度检测。本文提出的方法与现有的向量空间模型方法和仅依赖于平均点互信息的方法进行了比较，并通过TDT4中文语料进行测评，结果表明，基于语义相似度的关联检测方法能够更好地利用文本的语境信息，提高了现有检测系统的性能，其最小DET（detection error tradeoff）代价降低了3％。

关键词：关联检测、语义相似度、相对熵、关联度

分类号：TP391(计算技术、计算机技术)

资助基金：国家语委“十二五”科研规划资助项目YB125-49；教育部科学技术研究重点项目212167；中央高校基本科研业务费专项资金资助项目SWJTU12CX096；国家级大学生创新创业训练计划资助项目201210694017

在线出版日期：2015-07-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：517-522