基于Transformer模型的问句语义相似度计算

摘要：

针对现有方法准确率不高、不能充分捕捉句子深层次语义特征的问题,提出一种基于Transformer编码器网络的问句相似度计算方法.在获取句子语义特征前引入交互注意力机制比较句子间词粒度的相似性,通过注意力矩阵和句子矩阵相互生成彼此注意力加权后的新的句子表示矩阵,将获取的新矩阵同原始矩阵拼接融合,丰富句子特征信息;将拼接后的句子特征矩阵作为Transformer编码器网络的输入,由Transformer编码器分别对其进行深层次语义编码,获得句子的全局语义特征;通过全连接网络和Softmax函数对特征进行权重调整,得到句子相似度.在中文医疗健康问句数据集上模型取得了90.2％的正确率,较对比模型提升了将近4.2％,验证了该方法可以有效提高句子的语义表示能力和语义相似度的准确性.

关键词：自然语言处理、Transformer编码器、交互注意力机制、特征融合、语义相似度、语义编码、句子表示

所属期刊栏目：44

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金

在线出版日期：2023-05-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：887-893