融合互注意力机制与BERT的中文问答匹配技术研究

摘要：

问答匹配任务是问答系统关键技术之一,针对传统问答匹配模型对中文词向量表示不够精确、文本间交互特征提取不充分的问题,文章提出基于注意力的双向编码表征问答匹配模型.在中文向量表征上采用迁移学习引入预训练中文BERT模型参数,并在训练集上进一步微调获取最优参数,通过BERT模型对中文字向量进行表示,从而解决传统词向量模型在中文词汇上表征能力不足的问题.在文本交互层面,首先利用互注意力机制提取问题与答案的交互特征,并将生成的交互特征与注意力机制的输入向量形成特征组合;然后使用双向长短期记忆网络进行推理组合并降低特征维度,融入上下文语义信息;最后在中文法律数据集上进行测试.测试结果表明,该模型优于多项传统模型,与ESIM相比,在Top-1准确率上提高了3.55％,在MAP上提高了5.21％,在MRR上提高了4.05％.

关键词：问答匹配;BERT;互注意力机制

分类号：TP309(计算技术、计算机技术)

资助基金：国家自然科学基金;国家重点研发计划;公安部技术研究计划项目

在线出版日期：2022-01-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：102-108