一种基于语义组块特征的改进Cosine文本相似度计算方法

摘要：

[目的]利用文本语义组块特征提升Cosine文本相似度计算性能.[方法]获取NSF资助的关于碳纳米管研究领域的项目数据,进行词于还原、词性标注等预处理;利用条件随机场模型实现文本内容的语义组块标注;在此基础上实现基于语义组块特征的改进Cosine文本相似度计算,并与未标注的数据进行相似度计算比较,分析实验结果.[结果]实验证明基于语义组块特征的改进Cosine相似度计算结果比原始文本Cosine相似度计算结果相似度均有不同程度的提升,在实验数据中最高的相似度提升了26％.[局限]依赖于语义组块标注性能.[结论]本文方法能有效提升文本间语义相似度,降低向量空间模型维度,提高计算效率,并且具有良好的泛化能力和鲁棒性.

关键词：文本相似度、语义组块、向量空间模型、本体

分类号：G250(图书馆学、图书馆事业)

资助基金：国家社会科学基金项目“未来新兴科学研究前沿识别研究”项目16BTQ083的研究成果之一

在线出版日期：2017-10-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：56-64