改进Bi-LSTM的文本相似度计算方法

摘要：

为提高自然语言处理任务中文本相似度检测的准确率,提出一种改进双向长短期记忆网络(Bi-LSTM)的文本相似度计算方法.将输入的句子转换成多个单词向量,通过Bi-LSTM提取出每个单词向量的最佳词特征,引入注意力机制,减小非关键因素的影响;采用多层相似加权对两个句子分别从词与词、句子与句子、词与句子3个层面进行多层比较,加权得到其最终的相似度;基于SMTeuroparl、MSRvid和MSRpar这3个数据集对所提方法的性能进行评估.实验结果表明,相比于其它方法,所提方法的文本相似度计算更佳,适用于处理复杂的长文本.

关键词：文本相似度、深度学习、双向长短期记忆网络、注意力机制、多层相似加权、上下文信息

所属期刊栏目：43

分类号：TP312(计算技术、计算机技术)

资助基金：宁夏回族自治区科学技术厅重点研发计划基金项目;宁夏高等学校科学研究基金项目

在线出版日期：2022-05-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：1397-1403