文档检索中文本片段化机制的研究

摘要：

文档检索是自然语言处理的研究热点,相对于短文本文档具有信息丰富且冗长的特征.在长文本检索中,查询语句与长文本中的句子往往不是全部相关,可能会出现某些高相似片段的强干扰,因此查询语句与文档之间的相关性评分不能简单采用基于词语或字符串之间的相似度计算.提出了一种文本片段化机制(TSM)进行文档检索,首先将每个候选文档划分成片段,再计算查询语句与文档片段之间的相关度,所使用的相关度匹配方案考虑了语义和词频等因素,筛选出关键的文本片段并得出相关片段比率,综合这些片段信息计算查询与文档之间的相关性得分,从而获取Top-K文档集.针对Glasgow信息检索专用数据集的实验结果表明,利用文本片段化机制进行文本匹配可以提高信息检索的性能.

关键词：文本片段化机制、文档检索、相关性评分、相关片段比例、片段整合计算

所属期刊栏目：14

分类号：TP391(计算技术、计算机技术)

资助基金：The Foundation of Science and Technology Planning Project of Guangzhou under Grant No. 201604010037 广州市科技计划基金

在线出版日期：2020-04-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：578-589