基于多模型加权组合的文本相似度计算模型

摘要：

针对传统文本相似度计算模型存在的未考虑语义及结构信息、容易忽略文本特征细节信息等问题,建立一种基于多模型加权组合的文本相似度计算模型.在考虑次序、主题、语义等内容的基础上,对句子的每个单词进行嵌入表示,利用最大池化操作和Bi-GRU神经网络作为编码器生成关于句子的嵌入表示,通过多层次的比较来学习句子嵌入之间的相似性关系.对文本转换进行结构化表示,提取基于短语的浅层语法树结构化特征作为Tree-GRU的输入进行文本相似度计算.将上述2个计算结果进行加权处理,获取文本相似度的最终计算结果.实验结果表明:当权重参数C1和C2分别取值0.6和0.4时该模型具有最优的相似度计算结果;在STSB数据集上模型的精确率、召回率和F1值分别达到 90.32%、90.89%和 90.52%;在SICK数据集上精确率、召回率和F1值分别达到85.41%、85.95%和 85.61%;在MRPC数据集上精确率、召回率和F1值分别达到 90.32%、90.89%和 90.52%.该模型可以充分利用文本的多层次内容信息及结构化信息,适用于处理复杂的长文本,相对于DT-TEAM、ECNU等模型能取得更好的文本相似度计算结果.

关键词：文本特征、多词嵌入、多层次比较、浅层语法树、线性加权、文本相似度

所属期刊栏目：49

分类号：TP18(自动化基础理论)

资助基金：国家自然科学基金;提升政府治理能力大数据应用技术国家工程实验室开放基金项目

在线出版日期：2023-10-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：97-104