基于Transformer的改进短文本匹配模型

摘要：

短文本匹配是自然语言处理领域中的一个核心问题,可应用于信息检索、问答系统、复述问题等任务.过去的工作大多在提取文本特征时只考虑文本内部信息,忽略了两个文本之间的交互信息,或者仅进行单层次交互.针对以上问题,提出一种基于Transformer改进的短文本匹配模型ISTM.ISTM模型以DSSM为基本架构,利用BERT模型对文本进行向量化表示,解决Word2Vec一词多义的问题,使用Transformer编码器对文本进行特征提取,获取文本内部信息,并考虑两个文本之间的多层次交互信息,最后由拼接向量推理计算出两个文本之间的语义匹配度.实验表明,相比经典深度短文本匹配模型,本文提出的ISTM模型在LCQMC中文数据集上表现出了更好的效果.

关键词：短文本匹配;Transformer;DSSM;BERT;多层次交互信息;LCQMC

所属期刊栏目：30

资助基金：智能化公共法律服务关键技术湖南省重点研发项目2022SK2106

在线出版日期：2021-12-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：268-272